[kubernetes] 카오스 엔지니어링-1

Deagwon Bu·2022년 7월 18일

kubernetes

목록 보기

1/2

- Netflix에서 사용하는 Chaos Monkey의 로고

techtarget에서 Ben Lutkevich가 소개하는 카오스 엔지니어링에 대해 정리하였다. 이번 포스트에서는 쿠버네티스 클러스터에 카오스 엔지니어링을 적용하는 방법은 다루지 않는다. 카오스 엔지니어링이 무엇인지 알아보고, 다음 포스트에서 쿠버네티스에 적용하는 방법을 다루겠다.

1. 카오스 엔지니어링 이란?

테스트 환경 혹은 개발 환경은 실제 배포 환경과는 여러 가지 차이점이 있다. 이로인해 배포 환경이 아닌 다른 환경에서 테스트를 할 경우, 실제로 발생할 수 있는 모든 문제를 적절히 테스트 할 수 없다.

몇몇 기업들은 운영 상황에서 발생할 수 있는 문제를 효과적으로 파악하기 위해서 운영 테스트를 도입하였는데, 운영 테스트의 대표적인 방법으로 카오스 엔지니어링이 있다.

카오스 엔지니어링(Chaos Engineering)이란 분산 컴퓨터 시스템이 예상치 못한 스트레스를 견딜 수 있는지 테스트하는 과정을 말한다.

무작위로 예상치 못한 작업을 반복적으로 요청하면서, 시스템이 가지고 있는 약점을 파악하는 것이 목적이다.

하나의 네트워크 혹은 공유된 자원으로 묶여있는 시스템을 분산 시스템이라고 부르는데, 복잡한 분산 시스템에서는 예상하지 못하는 에러가 종종 발생하며, 이러한 에러가 발생했을 때, 대처하기 매우 까다롭다.

카오스 엔지니어링은 이런 복잡한 분산 시스템에서 에러가 발생하는 부분을 찾는데 매우 유용하다.

예를 들면

Blind Spots 모니터링 도구들이 확인하지 못하는 영역에서 발생하는 에러
Hidden Bugs 소프트웨어의 오작동을 유발하는 결함 혹은 이슈
Performance Bottlenecks 성능과 효율을 끌어올릴 수 있는 특정 지점

과 같은 지점을 발견하고 사전에 조치하도록 도와준다.

2. 카오스 엔지니어링과 스트레스 테스팅의 차이점

카오스 엔지니어링은 시스템이나 네트워크의 이슈를 발견하고 고친다는 점에서 스트레스 테스팅과 유사하다.

카오스 엔지니어링과 스트레스 테스팅의 차이점을 알아보면 카오스 엔지니어링에 대해 조금 더 명확히 이해할 수 있다.

우선 스트레스 테스팅은 한 번에 하나의 컴포넌트를 테스트하고 수정하며, 의도한 방향으로 시스템이 잘 동작하는지를 확인한다.

반면, 카오스 엔지니어링은 일어날 가능성이 희박하거나, 불분명한 이슈를 찾는다. 즉, 시스템에 대해 지금까지 알지 못했던 새로운 지식을 얻은 것이 목적이다.

3. 카오스 엔지니어링 단계

베이스라인 설정

이상적인 시스템의 상태를 정의하는 단계이다. 일반적인 동작 상태를 정의하고 여기서 벗어나는 상황을 파악해야 한다.
가설 설정

여러 가지 가능성 있는 약점들을 생각해 보고, 이를 통해서 가설을 설정하는 단계이다. 가장 대표적으로, 매우 큰 트래픽 스파이크가 발생할 때, 서버에 어떤 문제가 생길지 생각해 보고, 가설을 새워볼 수 있다.
테스트

가설에서 만들 상황을 실제로 테스트하는 단계이다. 테스트 단계에서 발생하는 문제를 파악하면, 시스템이 가지고 있는 약점을 파악할 수 있다.
평가

가설과 실제 테스트 결과를 비교하고, 개선사항을 찾는 단계이다.