포스팅에 사용된 그림은 책에서 제공하는 그림들 입니다.
개략적인 규모 추정을 효과적으로 해 내려면 규모 확장성을 표현하는 데 필요한 기본기에 능숙해야 한다. 특히, 2의 제곱수나 응답지연 값, 그리고 가용성에 관계된 수치들을 기본적으로 잘 이해하고 있어야 한다.
2의 제곱수
분산 시스템에서 데이터 양은 엄청나게 커질 수 있으나 그 계산법은 기본을 크게 벗어나지 않는다. 제대로 된 계산 결과를 얻으려면 데이터 볼륨의단위를 2의 제곱수로 표현하면 어떻게 되는지 알아야 한다. 최소 단위는 1바이트고, 8비트로 구성된다. ASCII 문자 하나가 차지하는 메모리 크기가 1바이트다.
데이터 볼륨 단위다.
모든 프로그래머가 알아야 하는 응답지연 값
구글의 제프 딘은 2010년에 통상적인 컴퓨터에서 구현된 연산들의 응답지연 값을 공개한 바 있다. 이들 가운데 몇몇은 더 빠른 컴퓨터가 등장하면서 더이상 유효하지 않게 되었지만, 아직도 이 수치들은 컴퓨터 연산들의 처리속도가 어느 정도인지 짐작할 수 있게 해준다.
아래는 위 표를 시각화 한것이다.
위 두 사진을 보면
- 메모리는 빠르지만 디스크는 아직도 느리다
- 디스크 탐색(seek)은 가능한 피해라
- 단순한 압축 알고리즘은 빠르다
- 데이터를 인터넷으로 전송전 압축해라
- 데이터 센터는 보통 여러 지역에 분산되어 있고, 센터들 간에 데이터를 주고받는 데에 시간이 걸린다.
라는 결론이 나온다.
가용성에 관계된 수치들
고가용성은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 수치인데 이는 %(percent)로 나타낸다. 100%는 시스템이 한 번도 중단된 적이 없었음을 의미한다.
대부분의 서비스는 99%~100%의 값을 갖는다.
아마존, 구글 ms같은 사업자는 SLA(Service Level Argreement)를 제공해주는데
9가 많을수록 좋다.
예제: 트위터 QPS와 저장소 요구량 추정
가정
- 월간 능동 사용자는 3억 명이다.
- 50%의 사용자가 트위터를 매일 사용한다.
- 평균적으로 각 사용자는 매일 2건의 트윗을 올린다
- 미디어를 포함하는 트윗은 10% 정도다.
- 데이터는 5년간 보관된다.
추정
QPS(Query Per Second) 추정치
- 일간 능동 사용자 = 3억 * 50% = 1.5억
- QPS=1.5억*2트윗/24시간/3600초=약 3500
- 최대 QPS(Peek QPS)=2*QPS=약 7000
미디어 저장을 위한 저장소 요구량
- 평균 트윗 크기
- tweet_id에 64바이트
- 텍스트에 140바이트
- 미디어에 1MB
- 미디어 저장소 요구량: 1.5억 210%*1MB=30TB/일
- 5년간 미디어를 보관하기 위한 저장소 요구량: 30TB3655=약 55PB
팁
면접자가 보고싶어 하는 것은 여러분의 문제 해결 능력일 것이다. 이에 도움되는 몇 가지 꿀팁을 공유한다.
- 단위를 붙여라. 5라고만 적으면 kb인지mb인지 알수 없다. 나중엔 스스로 헷갈리게 될 것이다.
- 많이 출제되는 개략적 규모 추정 문제는 QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수 등을 추정하는 것이다. 면접 전에 계산하는 연습을 미리 하도록 하자.
