[대규모 시스템 설계] 2. 개략적인 규모 측정

💡 시스템 설계 면접을 볼 때, 시스템 용량이나 성능 요구사항을 개략적으로 추정해보라는 요구를 받게 된다.

• 개략적 규모 추정을 효과적으로 해 내려면, 규모 확장성을 표현하는 데 필요한 기본기에 능숙해야 한다.
  • ex) 2의 제곱, 응답지연 값(latency), 가용성과 관계된 수치들

2의 제곱수

---

분산 시스템에서 다루는 데이터 양은 엄청나게 커질 수 있으나, 계산법은 기본을 벗어나지 않는다.

• 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지를 알아야 한다!
  • 최소 단위는 1바이트고, 8비트로 구성된다.

데이터 볼륨 단위

모든 프로그래머가 알아야 하는 응답지연 값

---

구글의 제프 딘은 2010년에 통상적인 컴퓨터에서 구현된 연산들의 응답지연 값을 공개했다.

• 더 빠른 컴퓨터가 등장하였지만, 여전히 이 수치들은 컴퓨터 연산들의 처리 속도를 짐작할 수 있게 해준다.

이 수치들을 알기 쉽게 시각화하기 위해, 구글 엔지니어가 개발한 도구가 있다.

• 이 도구가 보여주는 수치에는 2020년 기준으로 최근 기술 동향이 반영되어 있다.

여러 결론들을 알 수 있다!

• 메모리는 빠르지만 디스크는 아직도 느리다.
• 디스크 탐색은 가능한 한 피하라.
• 단순한 압축 알고리즘은 빠르다.
• 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
• 데이터 센터는 보통 여러 지역에 분산되어 있고, 센터들 간에 데이터를 주고받는 데는 시간이 걸린다.

가용성과 관계된 수치들

---

💡 고가용성(high availability)이란?
→ 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력

• 대부분의 서비스는 99%에서 100% 사이의 값을 갖는다.

SLA

• 서비스 사업자가 보편적으로 사용하는 용어로, 서비스 사업자와 고객 사이에 맺어진 합의
  • 서비스 사업자가 제공하는 서비스의 가용시간이 공식적으로 기술되어 있다.

예제 : 트위터 QPS와 저장소 요구량 측정

---

가정

• 월간 능동 사용자는 3억명이다.
• 50%의 사용자가 트위터를 매일 사용한다.
• 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
• 미디어를 포함하는 트윗은 10% 정도다.
• 데이터는 5년간 보관된다.

추정

• QPS(Query Per Second) 추정치
  • 일간 능동 사용자(DAU) → 3억 * 50% = 1.5억
  • QPS → 1.5억 * 2 트윗 / 24시간 / 3600초 = 약 3500
  • 최대 QPS → 2 * QPS = 약 7000

• 미디어 저장을 위한 저장소 요구량
  • 평균 트윗 크기
    • tweet_id 에 64바이트
    • 텍스트에 140바이트
    • 미디어에 1MB
  • 미디어 저장소 요구량 → 1.5억 2 10% * 1MB = 30TB/일
  • 5년간 미디어를 보관하기 위한 저장소 요구량 → 30TB 365 5 = 55PB

팁

---

개략적인 규모 추정과 관계된 면접에서 가장 중요한 것은 문제를 풀어 나가는 절차다!

• 올바른 절차를 밟느냐가 결과를 내는 것보다 중요하다.

문제 해결 능력에 도움되는 몇 가지 팁

• 근사치를 활용한 계산

  • 면접장에서 99987/9.1 같은 복잡한 계산을 하는 것은 어려운 일이다.
  • 계산 결과의 정확함을 평가하는 것이 목적이 아니기 때문에, 시간 낭비이다.
  • 적절한 근사치를 활용하여 시간을 절약하자! → ex) 100,000/10

• 가정은 적어 둬라.

• 단위를 붙여라.

  • ex) 5라고만 적으면 5KB인지 5MB인지 알 수가 없다.
  • 모호함을 방지할 수 있다.

• 많은 출제되는 개략적 규모 추정 문제

  • QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수 등