데이터 엔지니어로 전향중인 백엔드 개발자입니다
태그 목록
- 전체보기(75)
- python(23)
- 알고리즘(23)
- 데이터 엔지니어(16)
- Data Science(12)
- aws(11)
- machine learning(10)
- kaggle(8)
- clustering(4)
- etl(4)
- Flask(3)
- spark(3)
- 프론트엔드(3)
- Regression(3)
- Classification(3)
- 미니 프로젝트(3)
- React(2)
- 데이터 엔지니어링(2)
- kafka(2)
- airflow(2)
- async(1)
- 비동기(1)
- OOP(1)
- JavaScript(1)
- 모던 자바스크립트(1)
- inheritance(1)
- 자바스크립트(1)
- algorithm(1)
- promise(1)
- Asyncronous(1)
- 상태관리(1)
- callback(1)
- Modern JavaScript(1)
- 프로토타입(1)
- Prototype(1)
- await(1)
- 리액트(1)
전체보기 (75)python(23)알고리즘(23)데이터 엔지니어(16)Data Science(12)aws(11)machine learning(10)kaggle(8)clustering(4)etl(4)Flask(3)spark(3)프론트엔드(3)Regression(3)Classification(3)미니 프로젝트(3)React(2)데이터 엔지니어링(2)kafka(2)airflow(2)async(1)비동기(1)OOP(1)JavaScript(1)모던 자바스크립트(1)inheritance(1)자바스크립트(1)algorithm(1)promise(1)Asyncronous(1)상태관리(1)callback(1)Modern JavaScript(1)프로토타입(1)Prototype(1)await(1)리액트(1)
Apache-Airflow(2) : 스케줄링
Download Data(API로 호출) -> Process Data(Spark로 처리) -> Store Data(Insert/Update)
2022년 9월 21일
·
0개의 댓글·
0
Apache-Airflow(1) : 개요
진행중인 프로젝트에서 배치성으로 분석해야 하는 데이터들이 생겼다. 주기적으로 데이터를 받아 분석해야 했기에, 해당 작업 내용을 듣자마자 Airflow가 생각이 났다.데이터를 받고해당 데이터를 원하는 형태로 전처리 한 다음해당 데이터를 저장한다새로이 저장한 데이터를 분석
2022년 9월 12일
·
0개의 댓글·
0