시작글

안녕하세요.

데이터 엔지니어링 & 운영 업무를 하는 중 알게 된 지식이나 의문점들을 시리즈 형식으로 계속해서 작성해나가며

새로 알게 된 점이나 잘 못 알고 있었던 점을 더욱 기억에 남기기 위해 글을 꾸준히 작성 할려고 합니다.

Kubernetes 의 경우 공식 문서와 구글링을 하여 작성하고 있습니다.
Kubernetes 를 활용하여 Trino, Spark, Airflow, Application(Gitlab, FastAPI 등) 들을 올려보고 해당 어플리케이션들을 최종적으로 운영할 수 있게 목표하고 있습니다.

반드시 글을 읽어 주실 때 잘 못 말하고 있는 부분은 정정 요청 드립니다.

저의 지식에 큰 도움이 됩니다. :)

1. Kubernetes Overview

Kubernetes는 컨테이너화된 워크로드 및 서비스를 관리하기 위한 이식 가능하고 확장 가능한 오픈 소스 플랫폼입니다. 규모가 크고 빠르게 성장하는 생태계를 가지고 있습니다. 코드 선언적인 구성으로 인프라를 구축 오픈 소스 입니다.

K8s는 "K"와 "s" 사이의 8개 문자를 세어 만든 약어입니다.

• 기존 배포 방식 : 초기에 조직은 물리적 서버에서 애플리케이션을 실행했습니다. 물리적 서버에서는 애플리케이션에 대한 리소스 경계를 정의할 방법이 없었으며 이로 인해 리소스 할당 문제가 발생했습니다. 예를 들어, 여러 애플리케이션이 물리적 서버에서 실행되는 경우 한 애플리케이션이 대부분의 리소스를 차지하여 결과적으로 다른 애플리케이션의 성능이 저하되는 경우가 있을 수 있습니다. 이에 대한 해결책은 각 애플리케이션을 서로 다른 물리적 서버에서 실행하는 것입니다. 그러나 리소스 활용도가 낮기 때문에 확장이 불가능했고 조직에서 많은 물리적 서버를 유지하는 데 비용이 많이 들었습니다.

• 가상화 배포 : 솔루션으로 가상화가 도입되었습니다. 이를 통해 단일 물리적 서버의 CPU에서 여러 가상 머신(VM)을 실행할 수 있습니다. 가상화를 사용하면 VM 간에 애플리케이션을 격리할 수 있으며, 한 애플리케이션의 정보를 다른 애플리케이션에서 자유롭게 액세스할 수 없으므로 보안 수준을 제공합니다. 가상화를 사용하면 물리적 서버의 리소스 활용도가 향상되고 애플리케이션을 쉽게 추가하거나 업데이트할 수 있고 하드웨어 비용을 절감할 수 있으므로 확장성이 향상됩니다. 가상화를 사용하면 일련의 물리적 리소스를 일회용 가상 머신 클러스터로 제공할 수 있습니다. 각 VM은 가상화된 하드웨어 위에 자체 운영 체제를 포함한 모든 구성 요소를 실행하는 완전한 시스템입니다.

• 컨테이너 배포 : 컨테이너는 VM과 유사하지만 애플리케이션 간에 운영 체제(OS)를 공유하기 위한 완화된 격리 속성을 가지고 있습니다. 따라서 컨테이너는 경량입니다. VM과 유사하게 컨테이너에는 자체 파일 시스템, CPU 공유, 메모리, 프로세스 공간 등이 있습니다. 기본 인프라에서 분리되므로 클라우드와 OS 배포판 간에 이식 가능합니다.

참고 : Kubnernetes 공식 Doc - overview

2. 컨테이너의 장점

• 민첩한 애플리케이션 생성 및 배포: VM 이미지 사용에 비해 컨테이너 이미지 생성의 용이성과 효율성이 향상되었습니다.

• 지속적인 개발, 통합 및 배포: 빠르고 효율적인 롤백을 통해 안정적이고 빈번한 컨테이너 이미지 빌드 및 배포를 제공합니다(이미지 불변성으로 인해).

• 개발 및 운영의 우려 사항 분리: 배포 시간이 아닌 빌드/릴리스 시간에 애플리케이션 컨테이너 이미지를 생성하여 인프라에서 애플리케이션을 분리합니다.

• 관찰 가능성: OS 수준 정보 및 지표뿐만 아니라 애플리케이션 상태 및 기타 신호도 표시합니다.

• 개발, 테스트, 운영 전반에 걸친 환경적 일관성: 클라우드에서와 마찬가지로 노트북에서도 동일하게 실행됩니다.

• 클라우드 및 OS 배포 이식성: Ubuntu, RHEL, CoreOS, 온프레미스, 주요 퍼블릭 클라우드 등 어디에서나 실행됩니다.

• 애플리케이션 중심 관리: 가상 하드웨어에서 OS를 실행하는 것에서 논리적 리소스를 사용하여 OS에서 애플리케이션을 실행하는 것으로 추상화 수준을 높입니다.

• 느슨하게 결합되고, 분산되고, 탄력적이고, 자유로운 마이크로 서비스: 애플리케이션은 더 작고 독립적인 조각으로 분할되며 하나의 큰 단일 목적 시스템에서 실행되는 모놀리식 스택이 아니라 동적으로 배포 및 관리될 수 있습니다.

• 리소스 격리: 예측 가능한 애플리케이션 성능.

• 자원 활용: 높은 효율성과 밀도.

참고 : Kubnernetes 공식 Doc - overview

3. Kubernetes 활용 시 할 수 있는 것들

• 서비스 검색 및 로드 밸런싱 : Kubernetes는 DNS 이름 또는 자체 IP 주소를 사용하여 컨테이너를 노출할 수 있습니다. 컨테이너에 대한 트래픽이 높으면 Kubernetes는 배포가 안정적이도록 네트워크 트래픽의 부하를 분산하고 분산할 수 있습니다.

• Storage Orchestration : Kubernetes를 사용하면 로컬 스토리지, 퍼블릭 클라우드 공급자 등 원하는 스토리지 시스템을 자동으로 마운트할 수 있습니다.

• 자동화된 롤아웃 및 롤백 : Kubernetes를 사용하여 배포된 컨테이너에 대해 원하는 상태를 설명할 수 있으며 실제 상태를 제어된 속도로 원하는 상태로 변경할 수 있습니다. 예를 들어 Kubernetes를 자동화하여 배포를 위한 새 컨테이너를 생성하고, 기존 컨테이너를 제거하고, 모든 리소스를 새 컨테이너에 채택할 수 있습니다.

• Automatic bin packing : 컨테이너화된 작업을 실행하는 데 사용할 수 있는 노드 클러스터를 Kubernetes에 제공합니다. 각 컨테이너에 필요한 CPU와 메모리(RAM)의 양을 Kubernetes에 알려줍니다. Kubernetes는 리소스를 최대한 활용하기 위해 컨테이너를 노드에 맞출 수 있습니다.

• 자가 치유 : Kubernetes는 실패한 컨테이너를 다시 시작하고, 컨테이너를 교체하고, 사용자 정의 상태 확인에 응답하지 않는 컨테이너를 종료하고, 서비스할 준비가 될 때까지 클라이언트에 알리지 않습니다.

• Secret and configuration management : Kubernetes를 사용하면 비밀번호, OAuth 토큰, SSH 키와 같은 민감한 정보를 저장하고 관리할 수 있습니다. 컨테이너 이미지를 다시 빌드하지 않고 스택 구성에 비밀을 노출하지 않고도 비밀과 애플리케이션 구성을 배포하고 업데이트할 수 있습니다.

• 배치 실행 : Kubernetes는 서비스 외에도 배치 및 CI 워크로드를 관리하여 원하는 경우 실패한 컨테이너를 교체할 수 있습니다.
  수평 확장 UI를 사용하여 간단한 명령을 사용하거나 CPU 사용량에 따라 자동으로 애플리케이션을 확장 및 축소할 수 있습니다.

• IPv4/IPv6 듀얼 스택 포드 및 서비스에 IPv4 및 IPv6 주소 할당
  확장성을 고려한 설계 업스트림 소스 코드를 변경하지 않고도 Kubernetes 클러스터에 기능을 추가할 수 있습니다.

참고 : Kubnernetes 공식 Doc - overview

4. Kubernetes Componenets

Kubernetes 클러스터는 컨테이너화된 애플리케이션을 실행하는 Node 라고 하는 Worker 들로 구성됩니다. 모든 클러스터에는 하나 이상의 Worker Node 가 있습니다.

Worker Node는 애플리케이션 Workload의 구성요소인 Pod를 호스팅합니다. Control plane은 클러스터의 Worker node와 Pod를 관리합니다. 프로덕션 환경에서 Control plane은 일반적으로 여러 컴퓨터에서 실행되고 클러스터는 일반적으로 여러 노드를 실행하여 내결함성과 고가용성을 제공합니다.

4.1 Control Plane Components

Control Plane의 구성 요소는 클러스터 이벤트(예: replica 배포가 만족되지 않고 새 pod 시작)를 감지하고 응답할 뿐만 아니라 클러스터에 대한 전역 스케줄링을 합니다.

4.1.1 kube-apiserver

API 서버는 Kubernetes API를 노출하는 Kubernetes control plane의 구성 요소입니다. API 서버는 Kubernetes control plane의 fronend 입니다.

Kubernetes API 서버의 주요 구현은 kube-apiserver입니다. kube-apiserver는 수평적으로 확장되도록 설계되었습니다. 즉, 더 많은 인스턴스를 배포하여 확장됩니다. kube-apiserver의 여러 인스턴스를 실행하고 해당 인스턴스 간에 트래픽 균형을 조정할 수 있습니다.

kube-apiserver 는 쿠버네티스 클러스터에서 가장 중추적인 역할을 합니다. 마스터 노드의 중심에서 모든 클라이언트, 컴포넌트로부터 오는 요청을 전부 받아냅니다.

kubectl cluster-info

# kubernetes control plane is running at https://10.0.0.1:6443

위 와 같이 kubectl 이 바라보는 API 서버의 주소를 출력 합니다.
이는 kubeconfig 파일에 명시하고 있다고 합니다. 보통 $HOME/.kube/config 에 위치합니다.

위치를 변경하고 싶을 때는 OS 환경 변수를 변경해줍니다.

export KUBECONFIG=/my/path/kubeconfig

참고 : Kubnernetes 공식 Doc - kube-apiserver

참고 : kube-apiserver 관련 글

4.1.2 etcd

모든 클러스터 데이터에 대한 Kubernetes의 백업 저장소로 사용되는 일관되고 가용성이 높은 키 값 저장소입니다.

ETCD 데이터 저장소는 Node, Pod, 구성, 암호, 계정, 역할, 바인딩 등과 같은 클러스터 관련 정보를 저장합니다.

kubectl get 명령을 실행할 때 표시되는 모든 정보는 ETCD 서버에서 가져온 것입니다.
Node 추가, Pod, RplicaSet, Deployment 등 클러스터에 대한 모든 변경 사항이 ETCD 서버에서 업데이트 됩니다. ETCD 서버에서 업데이트한 경우에만 변경이 완료된 것으로 간주 됩니다.

kubernetes 는 root 디렉토리가 레지스트리가 되는 특정 디렉토리 구조에 데이터를 저장하며, 그 아래에 미니언 또는 노드, 포드, replicasets, deployment 와 같은 다양한 kubernetes 구조를 가지고 있습니다.

• minions
• pods
• replicasets
• deployment
• roles
• secrets

참고 : kubernetes 공식 Doc - etcd

참고 : etcd 관련 글

4.1.3 kube-scheduler

할당된 노드 없이 새로 생성된 포드를 감시하고 실행할 노드를 선택하는 제어 영역 구성요소입니다.

Pod 가 새롭게 생성되면 Scheduler 를 통해서 Pod 가 실행될 노드가 결정됩니다. 모든 Pod 는 Scheduler 에 의해서 최적의 노드가 결정되고 실행 됩니다. default Scheduler 이 외의 특별한 Scheduling 을 원한다면 커스텀 스케줄러를 만들어서 대체할 수도 있다고 합니다.

Pod 가 스케줄링 되기 위해서는 노드가 스케줄링 요구 사항에 맞아야 하는데, 이 때 요구사항에 맞는 노드를 피저블 노드(feasible node) 라고 합니다.

스케줄러는 피저블 노드를 찾고 적절한 로직을 통해 노드에 점수를 부여합니다. 가장 최고 점수를 갖는 노드에 Pod 가 실행됩니다.

Scheduling 을 결정하는 데에는 하드웨어, 소프트웨어, policy contraints, affinity 와 anti-affinity spec, local data 등 여러 요구 사항들이 있습니다.

kube-scheduler 가 Pod를 띄울 노드를 결정하는 2-step 은 아래와 같습니다.

1. Filtering
2. Scoring

Filtering 단계에서는 피저블 노드를 찾는 단계 입니다. 이 단계에서 적합한 노드를 찾지 못한다면 Pod 는 스케줄링 되지 않습니다.

Scoring 단계에서는 필터링된 노드 리스트 중에서 Pod 가 실행될 최적의 노드를 찾습니다. 스케줄러는 노드 리스트에 있는 각 노드들에 점수를 부여합니다.

참고 : kubernetes 공식 Doc - kube-scheduler

참고 : kube-scheduler 관련 글

4.1.4 kube-controller-manager

컨트롤러 프로세스를 실행하는 컨트롤 플레인 구성요소입니다.

논리적으로 각 컨트롤러는 별도의 프로세스이지만 복잡성을 줄이기 위해 모두 단일 바이너리로 컴파일되어 단일 프로세스에서 실행됩니다.

컨트롤러에는 다양한 유형이 있습니다. 그 중 몇 가지 예는 다음과 같습니다.

노드 컨트롤러: 노드가 다운될 때 이를 인지하고 대응하는 역할을 담당합니다.
작업 컨트롤러: 일회성 작업을 나타내는 Job 객체를 관찰한 다음 Pod를 생성하여 해당 작업을 완료합니다.
EndpointSlice 컨트롤러: EndpointSlice 객체를 채웁니다(서비스와 Pod 간의 링크 제공).
ServiceAccount 컨트롤러: 새 네임스페이스에 대한 기본 ServiceAccounts를 만듭니다.
위의 목록은 완전한 목록이 아닙니다.

참고 : kubernetes 공식 Doc - kube-controller-manager

참고 : kube-scheduler 관련 글

4.1.5 cloud-controller-manager

클라우드별 컨트롤 로직을 포함하는 쿠버네티스 컨트롤 플레인 컴포넌트 입니다. 클라우드 컨트롤러 매니저를 통해 클러스터를 클라우드 공급자의 API에 연결하고, 해당 클라우드 플랫폼과 상호 작용하는 컴포넌트와 클러스터와만 상호 작용하는 컴포넌트를 구분할 수 있게 해 줍니다.
cloud-controller-manager는 클라우드 제공자 전용 컨트롤러만 실행합니다. 자신의 사내 또는 PC 내부의 학습 환경에서 쿠버네티스를 실행 중인 경우 클러스터에는 클라우드 컨트롤러 매니저가 없습니다.

kube-controller-manager와 마찬가지로 cloud-controller-manager는 논리적으로 독립적인 여러 컨트롤 루프를 단일 프로세스로 실행하는 단일 바이너리로 결합합니다. 수평으로 확장(두 개 이상의 복제 실행)해서 성능을 향상시키거나 장애를 견딜 수 있습니다.

다음 컨트롤러들은 클라우드 제공 사업자의 의존성을 가질 수 있습니다.

노드 컨트롤러: 노드가 응답을 멈춘 후 클라우드 상에서 삭제되었는지 판별하기 위해 클라우드 제공 사업자에게 확인하는 것
라우트 컨트롤러: 기본 클라우드 인프라에 경로를 구성하는 것
서비스 컨트롤러: 클라우드 제공 사업자 로드밸런서를 생성, 업데이트 그리고 삭제하는 것

참고 : kubernetes 공식 Doc - cloud-controller-manager

4.2 Node Components

노드 컴포넌트는 동작 중인 파드를 유지시키고 쿠버네티스 런타임 환경을 제공하며, 모든 노드 상에서 동작합니다.

4.2.1 kubelet

클러스터의 각 노드에서 실행되는 에이전트 입니다. Kubelet은 파드에서 컨테이너가 확실하게 동작하도록 관리합니다.

Kubelet은 다양한 메커니즘을 통해 제공된 PodSpec의 집합을 받아서 컨테이너가 해당 파드 스펙에 따라 잘 동작하는 지 관리합니다. Kubelet은 쿠버네티스를 통해 생성되지 않는 컨테이너는 관리하지 않습니다.

참고 : kubernetes 공식 Doc - kubelet

4.2.2 kube-proxy

kube-proxy는 클러스터의 각 노드에서 실행되는 네트워크 프록시로, 쿠버네티스의 서비스 개념의 구현부 입니다.

kube-proxy는 노드의 네트워크 규칙을 유지 관리합니다. 이 네트워크 규칙이 내부 네트워크 세션이나 클러스터 바깥에서 파드로 네트워크 통신을 할 수 있도록 해줍니다.

kube-proxy는 운영 체제에 가용한 패킷 필터링 계층이 있는 경우, 이를 사용합니다. 그렇지 않으면, kube-proxy는 트래픽 자체를 포워드(forward)합니다.

참고 : kubernetes 공식 Doc - kube-proxy

4.2.3 Container runtime

컨테이너 런타임은 컨테이너 실행을 담당합니다.

쿠버네티스는 containerd, CRI-O와 같은 컨테이너 런타임 및 모든 Kubernetes CRI (컨테이너 런타임 인터페이스) 구현체를 지원합니다.

참고 : kubernetes 공식 Doc - container-runtime

4.3 Addons

애드온은 쿠버네티스 리소스(데몬셋, 디플로이먼트 등)를 이용하여 클러스터 기능을 구현합니다. 이들은 클러스터 단위의 기능을 제공하기 때문에 애드온에 대한 네임스페이스 리소스는 kube-system 네임스페이스에 속합니다.

선택된 일부 애드온은 아래에 설명하였고, 사용 가능한 전체 확장 애드온 리스트는 애드온을 참조합니다.

참고 : kubernetes 공식 Doc - Addons

4.3.1 DNS

여타 애드온들이 절대적으로 요구되지 않지만, 많은 예시에서 필요로 하기 때문에 모든 쿠버네티스 클러스터는 클러스터 DNS를 갖추어야만 합니다.

클러스터 DNS는 구성환경 내 다른 DNS 서버와 더불어, 쿠버네티스 서비스를 위해 DNS 레코드를 제공해주는 DNS 서버 입니다.

쿠버네티스에 의해 구동되는 컨테이너는 DNS 검색에서 이 DNS 서버를 자동으로 포함합니다.

참고 : kubernetes 공식 Doc - Addons

4.3.2 웹 UI (대시보드)

대시보드는 쿠버네티스 클러스터를 위한 범용의 웹 기반 UI다. 사용자가 클러스터 자체뿐만 아니라, 클러스터에서 동작하는 애플리케이션에 대한 관리와 문제 해결을 할 수 있도록 해준다.

참고 : kubernetes 공식 Doc - 웹 UI (대시보드)

4.3.3 컨테이너 리소스 모니터링

컨테이너 리소스 모니터링은 중앙 데이터베이스 내의 컨테이너들에 대한 포괄적인 시계열 매트릭스를 기록하고 그 데이터를 열람하기 위한 UI를 제공해 준다.

참고 : kubernetes 공식 Doc - 컨테이너 리소스 모니터링

4.3.4 클러스터-레벨 로깅

클러스터-레벨 로깅 메커니즘은 검색/열람 인터페이스와 함께 중앙 로그 저장소에 컨테이너 로그를 저장하는 책임을 진다.

참고 : kubernetes 공식 Doc - 클러스터-레벨 로깅

4.3.5 Network Plugins

네트워크 플러그인은 CNI(컨테이너 네트워크 인터페이스) 사양을 구현하는 소프트웨어 구성 요소입니다. Pod에 IP 주소를 할당하고 클러스터 내에서 서로 통신할 수 있도록 하는 역할을 담당합니다.

참고 : kubernetes 공식 Doc - Network Plugins

맺음글

쿠버네티스의 전반적인 구성이나 컴포넌트들을 알아볼 수 있었습니다. k8s 구성 전에 해당 컴포넌트들을 알고 진행하는 것이 도움이 될 것이라 생각됩니다.