본 내용은 저자가 여러 기사들의 내용들을 바탕으로 공부하며 정리한 내용이기에 일부 틀린 내용이 있을 수 있습니다.

개 요

일시: 22.10.15 ~ 22.10.20 (127시간)

피해규모: 약 400억원 추정

원인: SKC&C 판교 데이터센터 화재발생

사고 원인 심층분석

직접적 원인

데이터센터

방대한 양의 데이터처리를 위해서는 여러 조건들을 만족하며 체계적으로 관리되는 서버실이 필요함. 90년대 중후반부터 이러한 서버관리 산업을 전문적으로하는 데이터센터 산업이 발전하기 시작함. 서버실 환경을 유지하기 위해 (24시간 적절한 온습도유지) 엄청난 양의 에어컨/냉각기 필요.

무정전 전원 장치(UPS: Uninterruptible Power Supply system)

여러 전원 장애를 자동으로 보정해주는 전원공급장치. 판교 데이터 센터 지하 3층 배터리실에서 화재가 발생함. 배터리실과 UPS 보관실이 완벽하게 분리되지 않아서 배터리실에서 발생한 화재의 영향으로 일부 UPS 작동중단. 누전으로 인한 2차 추가피해 방지를 위해 전체 전원차단. 추가로 SK C&C판교 데이터센터 내부적으로도 화재 발생에 대한 매뉴얼만 갖추어져 있고, 구체적/세부적 실행계획 및 모의훈련이 없어 화재 진압 과정이 늦어짐. (10.15.23:45분 완전진화 10.19.05:00분 전력공급 정상화)

복구과정 장기화 원인

데이터센터 다중화

카카오는 서비스 기능을 5개 레이어로 구분한다.(1.애플리케이션 2.서비스 플랫폼 3.운영 및 관리도구 4.데이터 5.인프라 설비)
이 중에서 3.운영 및 관리도구 레이어가 판교 데이터 센터에만 있고 다중화가 되어있지 않아서 대규모 먹통 현상이 발생하였다. 일부 오류정도의 문제에서는 5가지 레이어중 한두개가 멈추더라도 서비스가 정상작동하나 데이터센터 전체 셧다운 규모의 문제 발생시 5가지 레이어 모두가 정상적으로 작동해야 한다. 3.운영 및 관리도구 레이어 데이터센터 다중화 부재가 복구 과정 딜레이의 가장 큰 원인 중 하나로 분석된다.
데이터의 이중화는 되어있었으나 시스템 전체 관점에서의 이중화가 부족했다.
SK C&C 데이터센터 전원공급이 중단되었을 때에 이중화 전환을 돕는 일부 시스템이 작동하지 않아 다른 데이터센터로의 이중화 전환이 이루어지지 않아, 일일이 수동 전환 대응을 하며 복구가 지연되었고, 인력 부족 이슈도 원인 중 하나이다.

사후보고

1. SK C&C 판교 데이터센터

UPS실과 베터리실 공간의 확실한 분리.
화제 발생 시 세부대책을 세워 다른 공간까지 피해가 생기는 일 방지.
베터리실 모니터링 시스템은 정상적으로 작동하였음, 베터리 발화 감지를 위한 추가 기술력 장기 연구 계획.

2. 카카오

A> 데이터센터 이중화 및 다중화

특정 레이어가 마비되더라도 전체 시스템이 운영할 수 있도록 시스템 간 복잡한 의존성을 고려한 다중화 구성 등을 통해 장기적으로 해결방안 모색 및 진행상황 공유

B> 인프라 다중화

메인 백본 센터 증설 -> 폭넓은 대역폭 구성
데이터센터간 전송망 확장
2024 안산 카카오 데이터센터 증설 및 안전성을 극대화 시킨 설계 적용

C> 데이터 레이어 다중화

현 카카오 데이터 3가지 카테고리

1. 마이SQL/ 포스트그레SQL/ 오라클: 관계형데이터베이스관리시스템(RDBMS)
   IDC(Internet Data Center)증설 및 각각의 가상장비 인스턴스 용량 확보, 멀티 리전을 이용한 다중화
2. 몽고DB주력'NoSQ'
3. 에이치베이스(HBase)/ 드루이드(Druid)/ 하둡(Hadoop): 빅테이터 클러스터
   

D> 애플리케이션 레이어 다중화

데이터센터 다중화에 필요한 일부 서비스 구성요소가 한쪽의 데이터센터에서 준비되지 않음
(Redis: 상태정보 캐시하는 기증 결여)
다수 조직에 일관된 다중화 전략 적용 가능한 거버넌스 필요
서비스간 장애 격리 설계: 시스템 결합도 낮추어 기능을 독립적인 구조로 설계.
데이터센터 간 트래픽 전환 및 실시간 복구 체계

E> 투자 확장

인력, 시설, 장비 등 지난 5년대비 3배 이상 투자 예정

보상관련

카카오먹통방지법

22/12/08 카카오먹통사태 재발 방지를 위한 '방송통신발전기본법 개정안'이 국회 본회의를 통과.
데이터센터 및 온라인 서비스 사업자를 정부의 재난관리 계획에 포함시켜 재발 방지에 물리적/기술적 보호조치과정에 정부가 적극 개입하는 법안.
정부와 과도한 개입 및 이중규제는 카카오/네이버 등 데이터 기반 온라인 서비스 사업자들에게 부담스러운 족쇠로 작용할 수 있다. 공적인 것이 아닌 사적인 기업인만큼 운영방침에 자율권을 보장해주어야 한다는 목소리도 일부 나오고 있다. IT 강국으로의 위상이 정부의 지나친 규제로 타국과의 경쟁에서 밀릴 위험이 있다는 우려도 있다. 네카쿠를 앞세운 여러 기업들의 반대된 의견들이 점차 거세어질 것으로 전망된다.

전국민 대상 카카오의 보상안

무료이모티콘 3종:
정확히는 한 종만 무료이고 나머지 2종은 90일 이용기한이 있음.
카카오메이커스 쿠폰 2팩
톡서랍플러스 1개월 무료 이용권
: 1개월 무료 기간이 지난 후 사용자가 취소하지 않을 경우 자동으로 유료정기 결제로 넘어가는 시스템.

사과의 진정성이 느껴지지 않는 마케팅으로 비추어저 아쉽다는 의견이 지배적

SK C&C 사의 카카오를 향한 보상

이번 사건으로 카카오사의 피해규모가 약 500억원 규모임에도 보험관련된 이슈로 70억원에 그쳤음
카카오사는 해당 문제를 두고 소송을 진행중인 것으로 알려져

두서 없는 개인의견

카카오에게 지나친 비난의 화살이??

본 사건의 가장 1차적인 책임은 데이터센터에 있다. 화재가 발생한 것도 데이터센터이고 그 화재를 효과적으로 진압하지 못한 것도 데이터센터이며 화재 발생 시 피해를 최소화하기 위한 방안도 메뉴얼만 있을 뿐 그 어느것 하나 제대로 작동한 것이 없기 떄문이다.
그러나 이 사건을 알게 된 원인이 일상에서 사용하던 카카오톡의 오류였기에 여전히 데이터센터의 개념조차 몰랐던 나 같은 사람들은 이번 사건이 누구의 잘못인지 인지하지도 못하고 그저 카카오의 기술력을 낮게 생각하게 될 것이다. 물론 화재피해 발생 시 백업 데이터서버를 바로 돌리지 못한 것은 명백한 카카오사의 한계임은 틀림없다.
카카오가 잘못 이상의 비판을 받고 있다는 생각이 든다. 이는 카카오사가 제공하는 서비스 카카오톡, 카카오뱅킹 등이 모두 소비자가 직접 마주한다는 특성에서 비롯된 결과일 것이다. 사실 비판하는 사람들에게 사건의 전말을 정확하게 파악 할 것을 강요할수는 없다. 그저 보이는 것만 혹은 각자 사정과 여유에서 볼 수 있는 영역까지만 보고 비판할 수 밖에 없다.
마치 옷의 품질 문제 컴플레인을 옷 생산 과정에 1도 관여하지 않은 옷 가게 알바생이 온전히 받아내며 연신 고개숙이고 고객에게 죄송합니다를 연발하는 느낌이랄까.....?!!
카카오 서비스 특성 상 짊어져야 할 숙명이라 생각하면 동정심이 들지는 않는다.

카카오의 국민을 향한 보상안은 정말 멍청할까?

처음에 카카오에게 받은 보상안 안내문을 보고 눈을 의심하였다. 사과를 거듭하여도 모자란 상황에 자칫하면 유료화로 넘어가는 서비스를 보상으로 주다니.... 그러나 몇주가 흐른 지금.... 마냥 그 보상이 멍청하다는 생각은 들지 않는다. 카카오톡을 어짜피 사용할 수 밖에 없고, 블랙아웃사건은 빠르게 머리에서 지워졌고 어떤 측면으로 보면 괘씸하게 느껴졌던 카카오의 보상안도 깨끗하게 지워졌기 때문이다. 지금 남아 있는 것은 친구들과 신나게 돌려쓰는 보상 이모티콘 3종 속의 귀여운 토끼와 강아지 곰돌이 뿐이다....! 톡플러스를 이미 사용하고 있었던 나이지만 만약 이번 일로 새롭게 톡플러스 서비스를 사용하기 시작하고 그 유용성을 알게되어 자동 구독으로 넘어가는 소비자가 있다면, 진정한 사과보다는 마케팅을 들이민 카톡이 결국은 웃을 수 있을 것이다. 한 국내영화에서 종종 등장하는 대사..... 대중들은 소돼지와 같이 멍청하다...

카카오먹통방지법의 나비효과?

Referance

https://b.kakao.com/views/promise-report?t_src=channel
https://byline.network/2022/12/1208/
https://zdnet.co.kr/view/?no=20221208172256
https://www.metroseoul.co.kr/article/20221211500055