- 전체보기(26)
- sql(5)
- docker(4)
- airflow(4)
- DAG(3)
- 데이터 엔지니어링(3)
- SQL 연습(3)
- 멱등성(3)
- airflow 설치(3)
- Error Log(3)
- 프로그래머스(3)
- SQL TEST(3)
- mysql(3)
- 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python(3)
- ROW_NUMBER(2)
- backfill(2)
- SQL 기초(2)
- 데이터 엔지니어(2)
- etl(2)
- Docker 설치(2)
- DATE_FORMAT(2)
- task(2)
- full refresh(2)
- 트랜잭션(2)
- 쿼리테스트(2)
- 키움증권API(1)
- BFS 구현(1)
- start_date 의미(1)
- DAG 설계(1)
- SQL 코딩테스트(1)
- 단순회귀(1)
- 신뢰구간(1)
- Docker Airflow(1)
- AutoCommit(1)
- SQL 테스트(1)
- Airflow 구조(1)
- 데이터 파이프라인(1)
- API(1)
- IdemPotency(1)
- 에러 로그(1)
- 32bit(1)
- vi(1)
- SQL limit(1)
- SQL연습(1)
- 탐색 알고리즘(1)
- Primary Key Uniqueness 보장(1)
- Slustky(1)
- Airflow DAG 구성(1)
- ubuntu(1)
- linux(1)
- MySQL 에러(1)
- mean-corrected 증명(1)
- redash install guide(1)
- DAG 예제(1)
- catchup(1)
- 에러로그(1)
- 매매 자동화(1)
- mean-corrected(1)
- 데이터 웨어하우스(1)
- 가상머신 리눅스(1)
- Window Function(1)
- once(1)
- operator(1)
- redash 가상환경(1)
- SQL 고득점 KIT(1)
- 슬러츠키(1)
- redash 설치 방법(1)
- Yahoo Finance API(1)
- LAST_VALUE(1)
- redash(1)
- ifnull(1)
- SQL 빈 열(1)
- 알고리즘(1)
- DAG 작성(1)
- 32비트 가상환경(1)
- Idempotent(1)
- Windows Airflow 설치(1)
- virtualbox(1)
- 파이썬 32비트(1)
- 데이터 엔지니어링 기초(1)
- 채널별 매출액(1)
- 단순회귀모형(1)
- try/except(1)
- BashOperator(1)
- 계량경제학(1)
- 디버깅(1)
- transaction(1)
- Slustky Theorem(1)
- 계량경제학 정리(1)
- ELT(1)
- window redash(1)
- TRUNCATE(1)
- Open Weathermep(1)
- z-test(1)
- NULL AS(1)
- MySQL 2013(1)
- error(1)
- Z검정(1)
- Gross Revenue(1)
- IS NOT NULL(1)
- Slustky Theorem Proof(1)
- 가설검정(1)
- DFS 구현(1)
- execution_date(1)
- 데이터 레이크(1)
- BFS 기본 코드(1)
- delete(1)
- UNION ALL(1)
- upsert(1)
- select(1)
- redash 설치(1)
- SQL LIKE(1)
- airflow.cfg(1)
- 쿼리 연습(1)
- T-test(1)
- BFS(1)
- Net Revenue(1)
- DFS 기본 코드(1)
- API 멱등성(1)
- 에러기록(1)
- SQL MONTH(1)
- 트랜잭션 실습(1)
- Conversion Rate(1)
- data engineering(1)
- windows 환경(1)
- window-linux(1)
- SQL Windows(1)
- 회귀계수 추정(1)
- Airflow DAG(1)
- start_date(1)
- 유의확률(1)
- 멱등키(1)
- 슬러츠키 증명(1)
- 코딩 테스트(1)
- Introduction to econometrics(1)
- 유의수준(1)
- docker 오류 해결(1)
- 증권사 API(1)
- p-value(1)
- 신뢰구간의 의미(1)
- HTTP 멱등성(1)
- 주식 자동매매(1)
- Econometrics(1)
- redash error(1)
- debug(1)
- DFS(1)
- docker 오류(1)
- FIRST_VALUE(1)
- t검정(1)
- docker 명령어 오류(1)
- 너비 우선 탐색(1)
- redshift(1)
- Windows 함수(1)
- 표준오차(1)
- Oracle VM(1)
- 파이썬(1)
- SQL 전처리(1)
- 중심극한정리(1)
- 깊이 우선 탐색(1)
- 유저별 채널(1)
- python operator(1)
- redash docker(1)
- vscode(1)
- 가상머신(1)
- self join(1)
- redash install(1)
- incremental update(1)
- DummyOperator(1)
- 데이터 멱등성(1)
DAG 개념, 실습 / Airflow로 DAG 관리하기
1. ETL 기초 실습 1-1. ETL 개념 데이터 파이프라인의 기능 추출 (Extracting) 변환 (Transforming) 결합 (Combining) 검증 (Validating) 적재 (Loading) ETL이란 데이터 파이프라인의 기능 중 추출, 변환, 적
[DE kit] 5. Airflow로 데이터 파이프라인 만들기 2
Airflow.cfg > 💡 Windows기반 Docker 사용 시 airflow.cfg 파일 접근, 수정 방법 Docker GUI 실행 docker-webserver 컨테이너 클릭 Files 탭 클릭 opt > airflow > airflow.cfg Airflow
[DE kit] 4. Airflow로 데이터 파이프라인 만들기
멱등성 한 번 수행, 여러 번 수행한 결과가 같다. (ex:어떤 수에 1을 곱하는 연산은 여러 번 수행해도 처음 수행과 결과가 같으므로 멱등하다.) 데이터 파이프라인이 연속 실행되었을 때 소스에 있는 데이터가 그대로 DW로 저장되어야함을 이야기 (소스 데이터 = DW
데이터 관점의 멱등성 / 트랜잭션 실습
'멱등하다.' : 한 번 수행한 것과 여러 번 수행한 결과가 같다.어떤 수에 1을 곱하는 연산은 여러 번 수행한 결과가 처음 수행한 결과와 같으므로 멱등하다.절대값 함수는 같은 값에 대해 여러 번 수행한 결과가 처음 수행한 결과와 같으므로 멱등 함수이다.데이터 파이프라
Docker / Airflow 설치
1. Docker 설치 https://docs.docker.com/engine/install/ 이후 터미널에서 다음 명령어로 설치를 확인한다. 2. Airflow 설치 폴더(DE-Airflow) 생성, 이동 터미널을 관리자 권한으로 실행 후 폴더 경로로 이동한다.
[DE kit] 3. ETL/Airflow
데이터 파이프라인 (=ETL, 크게 보면 ELT) 데이터 프로세싱을 위해 실행하는 코드 ETL: Extract, Transform and Load Data Pipeline, ETL, Data Workflow, DAG <- 다 동일어 ETL (Extract, Trans
[DE kit] 2. SQL for Data Engineers
summary table (=ELT) summary table은 밑단 테이블(콜센터 솔루션 등)이 바뀌더라도 그 내부를 알아야 할 필요가 없기 때문에 유용하다. 써머리 테이블만 대시보드, 데이터 분석 등에 사용 (Looker) Being consistent is mor
SQL 예제 1. 유저별 처음, 마지막 채널 2. Gross Revenue 3. 채널별 월 매출액
테이블 정보 sessiontimestamp와 usersession_channel은 sessionid를 기준으로 1:1 관계 usersessionchannel과 sessiontransaction은 N:1 관계. 즉, 유저는 거래 세션을 포함한 여러 세션을 가질 수 있고
[DE kit] 1. 데이터 팀의 역할, Redshift 개요
SQLPythonAirflowETL/ELT 관리도구 AirflowETL : 바깥에서 데이터 가져오기 -> 데이터 엔지니어의 역할ELT : 내부 데이터를 재조합하기AWS프로덕션 데이터베이스는 mysql postgre 등을 사용, 서비스 운영에 필요한 필수적인 데이터 저장
[error log] Error Code: 2013. Lost connection to MySQL server during query
📌 error📌 solutionMySQL Workbench 상단의 Edit -> Preferences -> SQL EditorMySQL Session 란에서 시간을 늘려주기
Redash 자세한 설치 방법 (Window 환경)
Redash 설치 참고 자료 https://velog.io/@vive0508/redash-on-docker docker 설치 참고 자료 https://velog.io/@hanjuli94/%EC%9C%88%EB%8F%84%EC%9A%B0%EC%97%90%EC%84%9C
[error log] 'NODE_ENV'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는 배치 파일이 아닙니다.
📌 error📌 solution
[error log] error during connect: this error may indicate that the docker daemon is not running
vscode의 terminal에서 다음 명령어를 실행했을 때, 아래와 같은 오류가 발생했다.이는 window환경에서 "docker desktop"을 실행하지 않고 docker 명령어를 사용했을 때 발생하는 오류이다.
[Econometrics] Beta1 hat 가설검정
1. $\hat\beta_1$ 가설검정 다음의 가설검정을 생각해보자. 표준오차 $S.E(\hat\beta_1)$ : 표본 통계량의 표준 편차 $T$-통계량 : 모집단의 분산이나 표준편차를 알지 못할 때, 모집단을 대표하는 표본으로부터 추정된 분산이나 표준편차를 가
[Programmers SQL Test] 12세 이하인 여자 환자 목록 출력하기
📌 문제https://school.programmers.co.kr/learn/courses/30/lessons/13220112세 이하인 여자환자의 환자이름, 환자번호, 성별코드, 나이, 전화번호를 조회전화번호가 없는 경우, 'NONE'으로 출력시켜 주시고 결
[Programmers SQL Test] 상위 N개 레코드
📌 문제https://school.programmers.co.kr/learn/courses/30/lessons/59405가장 먼저 들어온 동물의 이름을 조회하는 SQL 문을 작성해주세요.📌 정답💡포인트LIMIT 1 : 상위 1개LIMIT 0, 9 : 0번
[Programmers SQL Test] 어린 동물 찾기
📌 문제https://school.programmers.co.kr/learn/courses/30/lessons/59037젊은 동물의 아이디와 이름을 조회하는 SQL 문을 작성해주세요. 이때 결과는 아이디 순으로 조회해주세요.📌 정답💡포인트NOT LIKE
[Programmers SQL Test] 과일로 만든 아이스크림 고르기
📌 문제https://school.programmers.co.kr/learn/courses/30/lessons/133025상반기 아이스크림 총주문량이 3,000보다 높으면서 아이스크림의 주 성분이 과일인 아이스크림의 맛을 총주문량이 큰 순서대로 조회하는 SQ
[Programmers SQL Test] 아픈 동물 찾기
📌 문제https://school.programmers.co.kr/learn/courses/30/lessons/59036아이디와 이름을 조회결과는 아이디 순서📌 정답💡 질문과 피드백 사항은 댓글에 편하게 남겨주시기 바랍니다.❤️ 도움이 되셨다면 공감 부탁
[Programmers SQL Test] 오프라인/온라인 판매 데이터 통합하기
📌 문제https://school.programmers.co.kr/learn/courses/30/lessons/131537📌 정답📌 시행착오💡포인트NULL AS USER_ID : NULL 빈 열 추가DATE_FORMAT(SALES_DATE, '%Y-%m