post-thumbnail

AWS Redshift Cluster 생성하기

Redshift 서비스에 들어간 뒤 클러스터 생성 버튼을 클릭한다.Redshift를 간단하게 사용할 예정이라 가장 저렴한 방향으로 구성할 예정이다.클러스터 식별자 : 원하는 Cluster 명 입력용도 : 프로덕션 노드 유형 : dc2.large노드 수 : 1 샘플 데이

약 4시간 전
·
0개의 댓글
·
post-thumbnail

Airflow Pipeline 만들기 - Redshift Query하기

아래 연결 정보 입력 후 [Test] 진행하여 연결을 확인한다.

약 5시간 전
·
0개의 댓글
·
post-thumbnail

[Airflow][Redshift] ('communication error', ConnectionRefusedError(111, 'Connection refused'))

AWS Redshift 연결 시 발생우선적으로 두 가지를 의심해볼 수 있을 것 같다.Cluster의 퍼블릭 액세스 가능 옵션 비활성화퍼블릭 액세스 가능 옵션은 VPC 외부에서의 Access를 허용할지를 물어보는 옵션이다.Cluster의 속성 탭으로 이동하여 네트워크 및

약 9시간 전
·
0개의 댓글
·
post-thumbnail

[AWS EC2] No supported authentication methods available (server sent: publickey)

No supported authentication methods available (server sent: publickey)이 에러는 아래와 같이 이 컴퓨터를 사용하는 사용자명을 내가 임의로 정해 연결하는 경우에도 뜰 수 있다. EC2에서 컴퓨터를 빌릴 때 이미 기본

어제
·
0개의 댓글
·
post-thumbnail

AWS Redshift란?

AWS Redshift는 peta byte 규모의 데이터까지 처리할 수 있는 완전 관리형 Data Warehouse 서비스이다. Redshift는 AWS에서 제공하는 Cloud DB 이긴 한데 MPP(Mass Parallel Processing) DB 서비스라고 보면

어제
·
0개의 댓글
·
post-thumbnail

Airflow Pipeline 만들기 - MySQL Query 하기

Source to Target ETL Pipeline을 만들기 전에 한 시스템에 연결하여 간단한 처리를 해보는 작업을 진행해본다. On-premise DB로 MySQL을 운영 중이라고 가정하고, Local MySQL에 연결해서 Query를 실행시키는 Pipeline을

2일 전
·
0개의 댓글
·
post-thumbnail

[MySQL] Public Key Retrieval is not allowed

DBeaver로 접속했을 때 아래와 같은 에러 발생Public Key Retrieval is not allowedMySQL 공식사이트에서 보안 상의 이유로 allowPublicKeyRetrieval 옵션의 default 값은 False라고 한다. 따라서 이 값을 Tru

6일 전
·
0개의 댓글
·
post-thumbnail

Airflow Pipeline 만들기 - 구조 이해하기

DAG 코드 Airflow 공식 홈페이지에 나와 있는 샘플 DAG 코드는 다음과 같다. 코드를 ~/airflow/dags/ 디렉토리에 tutorial.py로 저장한다. code [파일명].py 명령을 이용하면 VSC (Visual Studio Code) 편집기 창

2022년 8월 8일
·
0개의 댓글
·
post-thumbnail

[Airflow] Log file does not exist

파일의 위치가 이상하다.그리고 스케줄러에 의한 run과 수동으로 실행한 run 두 개가 오랫동안 running 중이었다.airflow.cfg 설정에서 remote_logging = True로 변경 후 Airflow 재가동원격 로깅을 활성화하여 container가 원격

2022년 8월 8일
·
0개의 댓글
·
post-thumbnail

Airflow 개발환경 셋팅하기 (on Docker)

Airflow 공식 홈페이지의 설치 과정을 참고하여 포스팅하였습니다. https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 준비 과정 필요한 S/W Docker Docker Compose

2022년 8월 4일
·
0개의 댓글
·
post-thumbnail

Windows에서 Linux 사용하기 (with WSL2)

개발자나 엔지니어가 개발을 하고 서버를 구축하는 등의 일련의 활동을 할 때 Windows OS보다는 Linux, Mac OS가 확실히 편하다. 하지만 Windows OS가 깔린 노트북, PC를 가진 개발자나 엔지니어도 많을터! Windows위에서 Linux를 사용하기

2022년 8월 4일
·
0개의 댓글
·
post-thumbnail

[Leetcode] 5. Longest Palindromic Substring

우선 두 개의 포인터를 사용한다. 2칸 짜리 윈도우를 가지는 포인터와 3칸 짜리 윈도우를 가지는 포인터를 구성한다. 팰린드롬은 "bb"처럼 짝수 일 때도 있고, "bab"처럼 홀수 일 때도 있기 때문. 따라서 짝수, 홀수 모든 경우에 대해 판별한다.2개의 윈도우 포인터

2022년 7월 26일
·
0개의 댓글
·

[Leetcode] 49. Group Anagrams

Problem Solution 1)

2022년 7월 26일
·
0개의 댓글
·
post-thumbnail

Window에서 AWS EC2 사용하기

Amazon Elastic Compute Cloud(Amazon EC2)란 AWS Cloud에서 제공하는 컴퓨터와 같다. 서버를 돌리기 위해 컴퓨터가 필요한데 실제 컴퓨터를 사기에는 현실적으로 무리가 있다. 그 때 대안으로 사용할 수 있는 것이 EC2 가상 컴퓨터이다.

2022년 7월 21일
·
0개의 댓글
·

Elasticsearch 살펴보기 6탄 - CAT API

보통 Elasticsearch API들의 결과는 JSON 포맷으로 보여진다. 그러나 JSON은 항상 읽기 쉽지는 않다. CAT API는 출력된 결과 포맷을 읽고 이해하는데 좀 더 쉽게 해준다. 다른 용도로 server에 사용되는 CAT API에는 다양한 paramete

2022년 6월 14일
·
0개의 댓글
·

Elasticsearch 살펴보기 5탄 - Index API

Index API는 setting, aliases, mappings, index templates같은 index의 모든 측면을 관리한다.이 API는 index를 생성한다. index는 JSON Object를 어떤 index에라도 통과시킬 때 자동으로 생성된다. 또는 J

2022년 6월 14일
·
0개의 댓글
·

Elasticsearch 살펴보기 4탄 - 집계

Elasticsearch에서 집계하는 포맷은 다음과 같다.Metrics Aggregations는 집계된 documents의 field 값으로부터 metric을 계산한다. 때때로 값은 script에 의해 생성되기도 한다.Numeric Metrics는 평균같은 단일값이거나

2022년 6월 14일
·
0개의 댓글
·

Elasticsearch 살펴보기 3탄 - 검색 API

Search API는 Elasticsearch에 있는 content를 검색할 때 사용한다. parameter로서 query string을 가진 get request를 보냄으로서 검색할 수 있다. 또는 post request의 message body에 query를 전송할

2022년 6월 13일
·
0개의 댓글
·

Elasticsearch 살펴보기 2탄 - Document API

Elasticsearch는 단일 문서(single document) APIs와 다중 문서(multi-document) API를 제공한다. Index API Index API는 특정 매핑을 가지는 index에 대한 요청이 있을 때 index에 JSON document를

2022년 6월 13일
·
0개의 댓글
·
post-thumbnail

비즈니스와 데이터 분석 및 데이터 엔지니어링에 대한 고찰 그리고 주저리주저리...

데이터 분석을 하기 위해 우리는 다양한 데이터를 가져와서 비즈니스 영역에 맞춰 대시보드와 보고서같은 지표들을 만들고, 모니터링하며 insight를 찾거나 현황을 파악한다.비즈니스 도메인마다 보는 지표는 다르겠지만, 크게 이분법적으로 볼 때 공통적인 부분과 나뉘어지는 부

2022년 6월 11일
·
0개의 댓글
·