EKS 위에 Airflow v2.5.3 Helm 배포하기
개요 EKS 클러스터 위에서 helm chart apache-airflow/airflow v1.9.0으로 airflow v2.5.3를 간단히 배포해보자. (굳이 EKS가 아니어도 큰 틀은 같음.) 구체적인 구현 내용은 아래와 같다. Service는 aws-alb-ingress-controller로 LoadBalancer 타입을 사용. dags 폴더는...
[Kubeflow] TFJob 기본 개념
아래 내용은 kubeflow의 공식문서를 공부하며 정리한 내용입니다. 참고 [kubeflow docs v1.6] TensorFlow Training (TFJob) TFJob 이란? TFJob은 k8s 위에서 tensorflow training job을 수행하기 위한 custom resource. TFJob의 구현체는 training-operator...
terraform-docs로 README.md 자동 작성하는 방법
참고 [GitHub] terraform-docs 개요 terraform module을 만들었다면 README.md를 잘 작성해줘야 함. 그런데 module이 좀 복잡해지면 잘못된 내용을 담을 수 있거나 매 변경 때마다 문서 내용을 업데이트하는 것은 쉬운게 아님. 그래서 .tf 파일 경로만 지정해주면 다 읽어서 문서를 만들어주는 terraform-doc...
[Terraform docs : Best Practices] Naming conventions
참고 [Terraform Best Practices docs] Naming conventions General conventions resource name, data source name, variable name, output 등에 대쉬(-) 대신에 언더바(_)를 쓰자. 소문자와 숫자를 쓰자. 단, 몇몇 resource들은 대쉬를 쓸 수 없거나 카...
[2023 DEVIEW 리뷰] 값비싼 Diffusion model을 받드는 저비용 MLOps
아래에 글은 NAVER의 2023 DEVIEW에서 SYMBIOTE AI의 김태훈님께서 발표해주신 '값비싼 Diffusion model 저비용 MLOps'에 대해 개인적으로 공부하고 리뷰, 정리하여 공유한 글 입니다.
[Kubeflow] kfp로 pipeline에 연결하는 방법 파헤치기
참고 [kubeflow docs] Connect the Pipelines SDK to Kubeflow Pipelines [kubeflow on aws docs] Pipelines 배경과 목표 pipeline SDK로 kubeflow piplines 서버에 연결하는 방법은 kubeflow가 어떻게 구성되어 있냐에 따라 다른데 여기서는 full kubefl...
[kubeflow Docs] TFJob 이란?
참고 [kubeflow docs] TensorFlow Training (TFJob) TFJob 이란? TFJob은 k8s 위에서 tensorflow training job을 수행하기 위한 custom resource. TFJob의 구현체는 training-operator. training-operator란 k8s 위에서 tensorflow, py...
AWS CodeBuild로 docker image build 하는 project 생성하는 방법
배경과 목표 AWS CodeBuild를 활용하여 docker 빌드 환경을 만들어보자. 특히, AWS console을 활용해서 CodeCommit git repo를 기반으로 build한 image를 ECR에 PUSH 해보자. 전제 ECR private registry CodeCommit repository CodeBuild Project에서 사용할 s...
[강의 복습] ReactJS로 영화 웹 서비스 만들기 : 2. The basic of react
서론 아래에 글은 참고 링크의 강의를 공부하며 overview한 내용입니다. 참고 [nomadcoder 강의] ReactJS로 영화 웹 서비스 만들기 : 2 THE BASIC OF REACT 2.0 Introduction react는 interactive를 위한 것. 워크스페이스 만들기 2.1 Before React 요약 html에서 ` 태...
ECR password가 있는 secret을 업데이트하기 위해 cronjob을 만드는 방법 (helm)
배경과 목표 yatai 등에서는 ECR에 image를 PUSH하기 위해 docker login을 하는데 credential 정보를 aws cli로 가져와서 사용함. 그러나 이 경우, credential이 12시간 마다 초기화되므로 이후에는 만료되어 yatai-image-builder가 image build 후에 ECR에 push 할 때, permissio...
