Celery는 task를 여러 쓰레드나 기기에 나누어주는 비동기 태스크 큐 입니다. Airflow로 task 관리를 하던 중 Airflow에서 task를 trigger하고, 로컬 Windows PC에서 해당 task를 처리해야할 필요가 있어 사용하게 되었습니다. 방

python의 log를 s3에 업로드하기 위해 사용한 log class 입니다.참고 : https://medium.com/nerd-for-tech/simple-aws-s3-logging-in-python3-using-boto3-cfbd345ef65b

AWS Kubernetes는 aws-auth ConfigMap을 활용하여 권한을 적용합니다.aws-auth config.yaml 파일 예시aws-auth config map을 적용 후 role binding을 해주어야 역할이 반영됩니다.role-binding.yaml

airflow 2.0.2 버전에서는 이상 없이 import 되었던 mysql 모듈이 2.4.3 버전으로 업그레이드 하자 import 에러가 발생하였습니다. 그 해결 과정을 기술합니다.airflow 가이드에서의 MySqlHook 모듈을 복사하여 mysqlHook.py 파

Facebook Api를 뜯어보다가 아래와 같은 구문이 있었습니다.위의 구문에서 field for field in fields if field not in params'fields' 부분은 list comprehension으로 python의 list를 간결하게 만들어주

IAM 권한 위임 방식 과정을 작성합니다.A ec2는 b-role이라는 권한을 갖고 있고, 해당 권한은 s3에 관한 권한을 전혀 갖고 있지 않습니다.반면에, s3-master-role은 s3 full access policy를 갖고 있습니다.이러한 상황에서 A ec2에

도커 이미지를 활용하여 레드마인을 설치한 내용에대해 작성합니다.Docker 설치cat > install-docker.sh 입력 후 아래 내용을 입력하여 쉘스크립트 파일 생성sudo chomod u+x install-docker.sh로 실행권한 부여./install-do

json_normalize를 활용하여 json 형태의 데이터를 갖고 있는 열을 데이터 프레임으로 만든 후 reindex로 데이터 프레임의 열 설정을 해주는 과정입니다.json 형태의 Event_Value열 안에 category의 경우 value로 다시 json list

airflow 에서 lambda 함수를 호출 할 때, path list가 너무 긴 경우 read timeout이 발생하여 path list의 크기가 20 이하가 되도록 account가 key 값, path list가 value 값인 딕셔너리 형태를 만들 때 활용한 코드

로컬에서 spark로 s3서비스를 접근하는데 많은 삽질을 하여 로컬 spark 실행에 관한 내용을 남겨놓습니다.spark 설치링크 : https://spark.apache.org/downloads.html이전에 듣던 강의 자료에서 Hadoop 2.7버전을 사용

api로 데이터를 받으면, json 형태로 데이터가 들어가 있어 가공하기 편한 형태로 변환 후 적재가 필요한 경우가 있습니다.ast.literal_eval("json_string")을 사용하면, 문자열을 읽어서 파이썬의 기본 타입(dict와 list 같은)으로 변경합니

AWS의 documentDB의 경우 ec2를 통한 접속이 필요하여, local에는 Embedded MongoDB를 연결하였습니다. MongodbConfig에서는 환경변수 별로 MongoClientSettings가 달라지도록 구성하였습니다.참고Embedded Mongod

boto3는 Python 애플리케이션과 AWS 서비스를 연결해주는 서비스입니다.가장 흔하게 로컬의 access key를 사용하는 경우와 profile을 사용하여 다른 aws 계정에 접근하는 경우를 기록합니다.첫 번째로, 로컬의 access key를 사용하여 s3에 연결

AWS Lamda를 처음 사용해본 경험을 기록합니다.Lambda는 서버리스하게 함수를 실행시킬 수 있는 서비스입니다.import 하는 모듈 관련하여 에러가 발생했는데 두 가지 방법으로 해결할 수 있었습니다.첫 번째로는, Layers에 ARN을 추가하는 방법이 있습니다.

nginx를 활용하지 않고, 단순히 ec2에서 docker를 실행하면 서버와의 ssh 연결이 끊기면 서버도 끊기기 때문에 nginx를 사용합니다.이전에 작성한 docker로 djagno 프로젝트 빌드하기에서 django 프로젝트 폴더 이외에 nginx를 설치할 폴더를

aws에 Django 프로젝트 빌드하는 과정을 기록합니다.<서버 콘솔>github clone을 위한 deploy key 생성 :ssh-keygen -t rsa -> Enter file in which to save the key 그냥 엔터 -> enter pass

쿠키란?브라우저에 저장되는 정보유효시간이 정해져 있고, 해당 시간이 지나지 않는다면 브라우저를 꺼도 유지클라이언트에 저장되는 정보이기 때문에, 민감하지 않은 데이터만 쿠키에 저장 됨동작방식클라이언트가 페이지를 요청서버에서 쿠키를 생성HTTP 헤더에 쿠키를 포함 시켜 응

AWS의 auto sacling을 사용하여 사용량에 따라 탄력적으로 ec2 수를 늘였다, 줄였다 할 수 있습니다.auto scaling은 자동으로 ec2를 생성해 주어야 하기 때문에 실행 템플릿과 연결되어야 합니다.auto scaling에 로드밸런서를 연결하지 않을 수

nginx 웹서버를 활용하여 django 프로젝트를 배포해주면 python manage.py runserver 0.0.0.0:8000와 같은 서버 실행문을 ec2마다 들어가서 실행해줄 필요 없이 서버를 원하는 상태로 띄워두고, 원하는 서버 상태까지 포함하여 ec2 이미

AWS의 loadbalancing 서비스를 활용하여 부하를 분산하고, route53 서비스를 활용하여 특정 도메인 이름에 연결하는 방법을 정리하겠습니다.우선, 로드밸런서를 생성하기 전에 대상그룹을 생성합니다.대상 그룹에서는 연결할 ec2, 포트번호, http proto