데이터 모니터링 및 정합성

• 집계결과는 RTB(Real-Time Bidding) 시스템에 전달되므로, 이를 정확하게 유지하는것이 중요하다.

지속적 모니터링

• 지연시간: 시스템의 주요 부분마다 타임스탬프를 기록하여 지연시간을 측정한다.
• 메시지 큐 크기: 큐의 크기가 갑자기 증가하는 경우 집계 서비스 노드를 추가해야 한다.
  • 카프카를 사용하는 경우 레코드 처리 지연 지표(record-lag)를 사용하여 모니터링 할 수 있다.
• 집계 노드의 시스템 자원: CPU 사용률, 메모리, 디스크 사용률 등을 측정하여 자원 사용량을 모니터링한다.

조정

• 조정이란, 데이터 무결성을 보증하기 위해 다양한 데이터를 비교하는 것을 의미한다.
• 이를 위해 원시 데이터를 일괄 처리하여 실시간 집계 결과와 비교하는 방법을 사용한다.

4단계: 마무리

• 주요 논의내용
  • 데이터 모델 및 API 설계
  • 맵리듀스 데이터 처리를 통한 광고 클릭 이벤트 집계
  • 메시지 큐, 집계 서비스, 데이터베이스의 규모 확장 방안
  • 핫스팟 문제와 해결방안
  • 시스템의 지속적 모니터링
  • 데이터 조정을 통한 정확성 보증
  • 결함 내성

7장 호텔 예약 시스템

1단계: 문제 이해 및 설계 범위 지정

• 주요 기능
  • 호텔 정보 조회, 예약, 예약취소 API 등
  • 10% 오버부킹 허용
  • 유동적 가격 적용

비기능 요구사항

• 높은 수준의 동시성
• 적절한 지연시간

개략적 규모 추정

• 총 5000개의 호텔, 100만개의 객실이 있다고 가정
• 평균적으로 70%의 객실이 사용중이고, 평균 투숙 기간은 3일로 가정
  • 일 예약 건수: 100만 * 0.7 / 3 = 233,333건, 약 24만 건
  • 초당 예약 건수: 24만 / 86400 = 2.78건, 약 3건
• 호텔 정보 조회, 객실 조회, 예약 단계의 3단계로 진행되며, 각 단계별로 10%가 진행한다고 가정
  • 호텔 정보 조회: 300건
  • 객실 조회: 30건
  • 예약: 3건