[대규모 시스템 설계] 2. 개략적인 규모 추정

시스템 설계 면접을 볼 때, 때로 시스템 용량이나 성능 요구사항을 개략적으로 추정해 보라는 요구를 받게 된다. 개략적인 규모 추정(back-of-the envelope estimation) 은보편적으로 통용되는 성능 수치 상에서 사고 실험(thought experiments)를 행하여 추정치를 계산하는 행위로서, 어떤 설계가 요구사항에 부합할 것인지 보기 위한 것이다.

2의 제곱수

• 최소 단위는 1바이트고 8비트로 구성된다. 표 2-1은 흔히 쓰이는 데이터 볼륨 단위다.

모든 프로그래머가 알아야 하는 응답지연 값

• 구글의 제프 딘이 2010년에 통상적인 컴퓨터에서의 연산의 응답지연 값을 공개한 표

• 위의 표를 시각화한 수치
• 위의서 제시된 수치를 분석하면 아래와 같은 결과가 나온다.
  • 메모리는 빠르지만 디스크는 아직도 느리다.
  • 디스크 탐색은 가능한 피하라.
  • 단순한 압축 알고리즘은 빠르다.
  • 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
  • 데이터 센터는 보통 여러 지역(region)에 분산되어 있고, 센터들 간에 데이터를 주고받는 데는 시간이 걸린다.

가용성에 관계된 수치들

• 고가용성(high availability)은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어다.
• 고가용성을 표현하는 값은 퍼센트로 표현하는데, 100%는 시스템이 단 한 번도 중단된 적이 없었음을 의미한다. 대부분의 서비스는 99%에서 100% 사이의 값을 갖는다.

• 가용률 99%의 하루당 장애시간 계산은 (24 * 60) / 100로 계산할 수 있다.

예제: 트위터 QPS와 저장소 요구량 추정

• 가정
  • 월간 능동 사용자(monthly active user)는 3억 명이다.
  • 50%의 사용자가 트위터를 매일 사용한다.
  • 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
  • 미디어를 포함하는 트윗은 10% 정도다.
  • 데이터는 5년간 보관된다.
• 추정
  • QPS(Query Per Second) 추정치
    • 일간 능동 사용자 (Daily Active User, DAU) = 3억 * 50% = 1.5억
    • QPS = (1.5억 * 2트윗) / 24(시간) / 3600(초)
    • 최대 QPS(Peek QPS) = 2 x QPS = 약 7000
• 미디어 저장을 위한 저장소 요구량
  • 평균 트윗 크기
    • tweet_id에 64바이트
    • 텍스트에 140바이트
    • 미디어에 1MB
  • 미디어 저장소 요구량: 1.5억 x 2 x 10% x 1MB = 30TB/ 일
  • 5년간 미디어를 보관하기 위한 저장소 요구량: 30TB x 365 x 5 = 약 55PB

팁

• 근사치를 활용한 계산(rounding and approximation)
• 가정(assumption)들은 적어두라. 나중에 살펴볼 수 있도록
• 단위를 붙여라
• 많이 출제되는 개략적 추정 문제는 QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수 등을 추정하는 것이다.