# BigQuery

33개의 포스트
post-thumbnail

Daily reflection - 2

프로젝트 원칙 확인 / 새롭게 배운 개념 등

2022년 5월 13일
·
0개의 댓글

BigQuery

BigQuery란 서버리스, 뛰어난 확장성을 가진 데이터 웨어하우스로 머신러닝과 같은 기본 제공기능으로 데이터를 관리하고 분석할 수 있게 해주는 빅데이터 분석 웹 서비스 입니다.BigQuery에서는 엄청난양의 데이터를 SQL쿼리를 사용하여 분석하기위해 만들어졌습니다.

2022년 5월 2일
·
0개의 댓글
post-thumbnail

DB) Trigger to Bigquery

큰 데이터를 다뤄보는 날이 오기를

2022년 4월 21일
·
0개의 댓글
post-thumbnail

GOOGLE BIGQUERY 와 TABLEAU 연동시키기

빅쿼리 테블로 연동하여 이민자 수 관련한 그래프 그리기

2022년 3월 29일
·
0개의 댓글
post-thumbnail

building my data warehouse with Airflow on GCP.

etl pipeline을 구글 클라우드 환경에서 구축하기 위해 준비해야할 것들 google colud cli 환경 airflow google cloud 계정 전체적인 아키텍쳐 화살표 방향은 신경쓰지 말아주세요! 왼쪽에서 오른쪽으로 흐름만 보면 됩니당! 1. 데이터

2022년 3월 26일
·
0개의 댓글
post-thumbnail

airflow bigquery 연동시키기

구글 bigquery airflow 정복하기

2022년 3월 21일
·
0개의 댓글

BigQuery JSON Data Type

들어가며 BigQuery가 JSON을 문자열이 아닌 하나의 데이터 타입으로 지원하기 시작했다. 어떤 내용인지 살펴보자. [BigQuery Release Note]( https://cloud.google.com/bigquery/docs/release-notes#Janu

2022년 1월 7일
·
0개의 댓글

[BigQuery] Left Join using ON or WHERE

▷ 테이블 조인 개요 쿼리 리뷰를 하다보면 두 테이블을 결합(JOIN)하는 과정에서 선택(필터링) 조건을 ON 절에 기술하는 경우를 가끔 만나게 된다. 사소하긴 하지만 주의를 요하는 경우가 있어 간략히 정리하고자 한다. 결합(JOIN)방식에 따라서 필터링 조건을

2021년 12월 26일
·
0개의 댓글

BigQuery - Table Sampling

ML 모델을 학습시키기 위해서는 가끔 무작위 추출된 데이터셋이 필요한 경우가 생긴다. 이 경우 RAND() 함수를 사용하여 랜덤 샘플링을 하곤 한다. BigQuery에서 위의 방식이 가지는 문제점은 랜덤 샘플링을 위해서 전체 테이블을 스캔해야 하므로 이로 인한 시간

2021년 12월 3일
·
0개의 댓글

BigQuery Storage Internals

이 글은 아래 블로그의 내용을 번역한 내용으로 모호하게 정리된 부분은 원문을 참고하시 바랍니다.BigQuery Admin reference guide: Storage internals빅쿼리는 완전 관리형 스토리지를 제공한다. 이는 직접 서버를 프로비저닝할 필요가 없다는

2021년 11월 26일
·
0개의 댓글
post-thumbnail

BigQuery Hands-On #4 - ABC Analysis

ABC 분석은 재고관리에 사용되는 재고 분류 기법의 하나이다.1제품의 중요도에 따라 등급을 매기고 그에 따른 판매 전략을 세울 때 활용된다. 중요도는 매출에 따라 구분되며 20%의 제품이 80%의 매출을 차지한다고 알려진 파레토 법칙도 ABC 분석에 근거하고 있다.e

2021년 11월 25일
·
0개의 댓글
post-thumbnail

BigQuery Hands-On #3 - Fan Chart Analysis

BigQuery 시계열 분석 - Fan Chart Analysis 지난 핸즈온에서 시계열 분석의 일종인 Z-Chart 분석을 다루었다. 이번에는 시계열 데이터인 날짜별 매출액을 Fan Chart 시각화하여 상품의 매출 증가율을 비교 분석하는 과정을 다뤄본다. Fan

2021년 11월 25일
·
0개의 댓글

BigQuery - Bigtable을 External Table로 접근하기

Bigtable을 외부 데이터 소스로 External Table을 생성할 때 필요한 테이블 정의 파일 (table definition file) 다뤄보고 간단한 Poc를 통해 BigQuery로 Bigtable에 접근 가능한지 확인해 보자.Cloud Storage나 Go

2021년 11월 24일
·
0개의 댓글
post-thumbnail

BigQuery Hands-On #2 - Z Chart Analysis

규모있는 쿼리를 작성하기 위해서는 일관된 코드 구조와 스타일의 유지가 중요하다. 이 글의 예시는 다음 BigQuery 스타일 가이드를 참고하고 있다. BigQuery Style Guide기업의 매출과 같이 시간의 경과에 따라 변화하는 데이터로부터 실적이나 추이 등을 파

2021년 11월 23일
·
0개의 댓글
post-thumbnail

BigQuery Hands-On #1 - Kaggle Data Survey

이번 글에서는 간단한 BI(Business Intelligence) 분석을 진행하며 비즈니스 질문에 대한 답을 찾아가는 과정을 다뤄보고자 한다.BigQuery 언어에 익숙하지 않더라도 우선은 분석흐름에 익숙해지는 것을 목표로 제시된 쿼리들을 하나씩 실행하며 결과를 확인

2021년 11월 21일
·
0개의 댓글

BigQuery 잔잔한 팁

BigQuery 중요한/헷갈리는 내용 정리

2021년 5월 28일
·
0개의 댓글

[Review] 이야기로 배우는 구글 빅쿼리

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

2021년 5월 23일
·
0개의 댓글

개발에 관한 단상

빅쿼리를 조사하다 느낀 점을 적어보았습니다.

2021년 3월 29일
·
0개의 댓글
post-thumbnail

구글 빅쿼리 사용기

본 문서에서는 SQL 기본 문법만 가지고도 구글 빅쿼리, 데이터 스튜디오를 활용해 데이터 웨어하우스와 기본 쿼리를 알아봅니다. 구글 빅쿼리 화면 구성 알아보기쿼리 관련 여러가지 예제

2021년 1월 19일
·
0개의 댓글