BigQuery 잔잔한 팁

Soo Im·2021년 5월 28일
0

잔잔한 팁

목록 보기
4/5

1. Google Cloud Storage vs. BigQuery Storage

BigQuery 저장소는 데이터 추출, SQL, 분석 작업에 특화되어있다. Google Cloud 저장소는 저장에 초점이 맞추어져 저비용으로 데이터를 저장할 수 있다. 분석이나 쿼리 작업이 잦다면 BigQuery 저장소를 사용하는 것이 더 용이하다. (물론 Google Cloud 데이터를 Bigquery로 가져와서 작업할 수도 있다.)

2. Operational Database vs. Data Warehouse

출처 Difference between Operational Database and Data Warehouse

Operational Database

CRUD 작업에 최적화된 데이터 저장소를 말하며 '정규화된 DB'에 가까운 형태이다. OLTP (Online Transactions Processing Databases)로 부르기도 한다. 많은 사용자가 동시에 접속하고 사용자 활동에 따라 실시간으로 데이터가 업데이트되는 웹페이지의 DB가 좋은 예시이다.

Data Warehouse

실시간으로 업데이트되는 OLTP와 다르게 분석에 초점을 맞추고 있으며 Online-Analytical Processing (OLAP) 라고 부른다. 소수의 사용자가 분석을 위한 쿼리를 처리하는 데 사용되기 때문에 상대적으로 비정규화되어있을 수도 있다. (BigQuery 문서에 따르면 정규화에 따른 스토리지 비용보다 JOIN에 따른 쿼리 비용이 더 크기 때문에 분석을 위한 OLAP에는 비정규화가 더 유리하다.)

Bigquery는 스스로 Operational DB가 아닌 Data Warehouse라고 설명한다. 그래서 정규화된 RDB와 다르게 중첩과 반복을 허용하며 ARRAY, STRUCT와 같은 자료형을 지원한다.

0개의 댓글