# Orchestration

Apache Airflow의 동시성 설정 이해하기 - 이론편
0. 서론 모던 데이터 엔지니어링에서 필수적인 기술 스택 중 하나는 바로 Workflow Orchestration이다. Apache Hadoop Ecosystem의 Oozie부터 AWS의 Step Functions, GCP의 Cloud Composer와 같은 클라우드 네이티브 서비스도 한 축을 차지하고 있으며, 더욱 더 모던한 기능들을 갖춘 Prefect 등 다양한 Workflow 플랫폼이나 어플리케이션이 시장에 퍼져있다. [Apache Airflow](https://airflow.ap
Container Orchestration
Container Orchestration 오늘날의 개발에서, 애플리케이션은 더 이상 하나의 통일체가 아니라 특정 애플리케이션이 설계 의도대로 기능하도록 함께 작동해야 하는 수십 또는 수백 개의 느슨하게 결합되고 컨테이너화된 요소로 구성된다. 컨테이너 오케스트레이션( Container Orchestration )은 이러한 컨테이너의 배포, 관리, 확장, 네트워킹의 자동화 프로세스를 의미한다. 컨테이너 오케스트레이션의 작동 원리 Apache Mesos, Google Kubernetes, Docker Swarm 등의 플랫폼들은 각자 컨테이너 관리를 위한 자체적인 특별한 방식을 보유하고 있지만, 사용자들은 컨테이너 오케스트레이션 엔진을 통해 컨테이너의 시작 및 중단 시점 제어, 클러스터로 그룹화, 애플리케이션을 구성하는 모든 프로세스 조정을 수행할 수 있습니다. 사용자들은 컨테이너 오케스트레이션 툴을 통해 컨테이너 구축을 안내하고, 업데이트, 상태 모니터링, 장애 조치 절차를 자

쿠버네티스
3.1 쿠버네티스 아키텍처 도커가 컨테이너와 관련된 전반적이고 추상화된 기술을 제공한다고 하면, 쿠버네티스는 다량의 컨테이너를 하나의 물리적인 서버에 배치하여 이를 사용하듯이 관리해주는 역할을 함. 노드를 하나로 묶는 클러스터를 관리하는 컨트롤 플레인 영역과 흩어져 있는 각 노드를 관리하는 노드 영역으로 나눌 수 있음. 컨트롤 플레인 컴포넌트 클러스터에 관한 결정을 내리고 클러스터 이벤트를 감지하며 반응함. 클러스터 내 어떠한 머신에서라도 동작할 수 있음 3.2 쿠버네티스 설치 https://kubernetes.io/ko/ 예제 소스 : https://github.com/uphiller/dockerbook > - sudo apt-get