💻 Kubernetes Project

LEE EUI JOO·2023년 1월 30일

Project

목록 보기

3/3

👨‍💻 Teammate A

👨‍💻 Teammate B

terraform 작성
- openstack network, security group, vm 등을 provisioning하는 코드 작성
- shell script
  - kubernetes cluster 구축
  - cni, metallb, github actions(self-hosted), monitoring 리소스 배포
github actions
- actions-runner-controller를 사용해 github actions(self-hosted) script가 kubernetes pod으로 실행되게끔 구성

👨‍💻 Teammate C

Monitoring 구축
- prometheus & Grafana 의 순차적 설치를 위한 Git-repo 생성
- Prometheus , Grafana 를 service 하는 Step By Step install_monitoring.sh 작성
PPT 작성 및 발표

Infrastructure 구성을 위한 Oneclick Installation Environment 제공
- 프로젝트를 통해 제작한 Shell Script를 실행하여 Terraform를 이용한 On-Premise 환경의 Openstack Private Cloud 자동 구축
- 사용자 요청 수량 만큼의 Compute Instances 생성, Kubernetes Clustering 수행
- Clustering된 Kubernetes는 Monitoring을 위한 Prometheus & Grafana, CI / CD 수행을 위한 Github Actions Hosted Machine을 포함
- CI / CD를 통해 배포되는 Service는 Openstack & Kubernetes Load Balancing을 통해 External Environment 노출
위와 같은 자동으로 구축 및 제공되는 Infrastructure를 통해 서비스 구축 및 운영의 도움을 주고자 함
- Openstack을 이용한 Resources 관리
  - Scale out & in, Private Environment 등
    - Future Support: Scale out & in
- Kubernetes를 이용한 Distributed System 관리
  - Fault Tolerance, Service Discovery, High Availability 등
운영관리 단순화를 통해 Service Implementation에 집중 가능한 환경 제공

IaaC
- Infrastructure 자동화 툴
  - 코드를 통해 Infrastructure를 관리할 수 있음
- 인프라에 대한 버전화와 협업을 가능하게 해주는 오픈소스 도구

Containerized Application 관리 툴
Distributed System 관리가 용이
Distributed System Clustering부터 Application 및 Services 배포, 확장, 관리를 자동화로 수행하는 오픈소스 Container Orchestration System

Github 기반의 소프트웨어 개발 Workflow를 자동화할 수 있는 CI / CD 플랫폼
기본적으로 Serverless 서비스로, Workflow만 잘 정의하면 Github 도구의 집합에 따라 CI ~ CD까지 수월하게 진행할 수 있음
- * 도구: Github Repository - Actions Trigger 등

Kubernetes의 자원 사용량 정보를 시계열 기반의 데이터 수집을 수행하는 Prometheus
그리고 이렇게 수집한 Prometheus의 데이터를 사용자에게 시각화로 제공하는 Grafana
이를 통해 사용자는 Kubernetes Cluster 내에서 자원 사용량을 추적 및 Event를 등록할 수 있고, 이에 따라 서비스 관리자 & 개발자 & 운영자는 보다 편리하게 서비스를 배포 및 관리할 수 있음

~/.ssh/id_rsa private key로 모든 Openstack VM에 SSH 접속 가능
- 웹 ui를 활용해서 사용자가 키를 생성할 수 있게 제공하고, 테라폼에서 해당 key를 사용

Terraform Resource가 많아지면 코드가 길어지고 복잡해짐
- 공통 인프라들을 묶고, Terraform Module을 만들어 같은 인프라를 찍어낼 때 활용`

Kubernetes Node join을 위한 token
- Terraform안의 shell script에서 token 값을 정적으로 부여해서 join함
- 해결하기 위해서는 openstack cloud provider를 사용해 kubernetes 구축하는 방법이 있음
Kubernetes 고가용성 Cluster
- 서비스에서 Control Plane 1대만 기본으로 생성되는데 Terraform 안의 Shell script로 만드는 것이 힘듬
- openstack cloud provider를 사용해서 Kubernetes Cluster 구축

Helm Chart로 prometheus & Grafana 를 패키징 하는 과제
- monitoring 을 구축하는 각 yaml 파일들이 의존성을 가지고 있었음
- Prometheus 설치를 위한 bundle.yaml 파일은 kubectl apply로는 서비스를 생성할 수 없었고 create 로만 생성할 수 있는 한계
- helm chart를 생성하는 대신에 Git repo를 생성하여 step by step 으로 yaml 을 배포할 수 있는 쉘스크립트를 작성하여 문제 해결

Shell script로 Openstack을 설치하고, Terraform으로 Openstack 인프라, Kubernetes를 Provisioning
Kubernetes Cluster안에는 모니터링(Prometheus & Grafana), GitHub Actions(Self-Hosted) 서비스가 기본 구성
개발자는 처음 Shell script 실행 시에 Worker Node의 갯수와 GitHub PAT를 입력 받음
개발하고 있는 GitHub Repository의 GitHub Actions Workflows를 작성하면 해당 서비스의 Kubernetes Pod안에서 CI/CD Pipeline이 돌아가고, Service를 Kubernetes에 배포
개발자들은 Grafana Dashboard를 통해서 배포된 서비스들을 확인, VM, Kubernetes 수준의 인프라를 모니터링 할 수 있음

👨‍💻 Teammate A

👨‍💻 Teammate B

👨‍💻 Teammate C

뛰어난 팀원들과 함께 협업할 수 있어서 좋았습니다.
수준 높은 팀원들과 함께하는 프로젝트라 걱정 반 설렘 반 의 마음가짐 이였으나, 무거운 개념 이라고 생각하지 않고 새로운 기술 스택들을 접하고 배울 수 있는 기회라고 생각하여 접근하니 팀원 분들에게 많은 것을 배워서 좋았습니다.