# BigQuery

jaytiger

ML 모델을 학습시키기 위해서는 가끔 무작위 추출된 데이터셋이 필요한 경우가 생긴다. 이 경우 RAND() 함수를 사용하여 랜덤 샘플링을 하곤 한다. BigQuery에서 위의 방식이 가지는 문제점은 랜덤 샘플링을 위해서 전체 테이블을 스캔해야 하므로 이로 인한 시간

jaytiger

이 글은 아래 블로그의 내용을 번역한 내용으로 모호하게 정리된 부분은 원문을 참고하시 바랍니다.BigQuery Admin reference guide: Storage internals빅쿼리는 완전 관리형 스토리지를 제공한다. 이는 직접 서버를 프로비저닝할 필요가 없다는

jaytiger

ABC 분석은 재고관리에 사용되는 재고 분류 기법의 하나이다.1제품의 중요도에 따라 등급을 매기고 그에 따른 판매 전략을 세울 때 활용된다. 중요도는 매출에 따라 구분되며 20%의 제품이 80%의 매출을 차지한다고 알려진 파레토 법칙도 ABC 분석에 근거하고 있다.e

jaytiger

BigQuery 시계열 분석 - Fan Chart Analysis 지난 핸즈온에서 시계열 분석의 일종인 Z-Chart 분석을 다루었다. 이번에는 시계열 데이터인 날짜별 매출액을 Fan Chart 시각화하여 상품의 매출 증가율을 비교 분석하는 과정을 다뤄본다. Fan

jaytiger

Bigtable을 외부 데이터 소스로 External Table을 생성할 때 필요한 테이블 정의 파일 (table definition file) 다뤄보고 간단한 Poc를 통해 BigQuery로 Bigtable에 접근 가능한지 확인해 보자.Cloud Storage나 Go

jaytiger

규모있는 쿼리를 작성하기 위해서는 일관된 코드 구조와 스타일의 유지가 중요하다. 이 글의 예시는 다음 BigQuery 스타일 가이드를 참고하고 있다. BigQuery Style Guide기업의 매출과 같이 시간의 경과에 따라 변화하는 데이터로부터 실적이나 추이 등을 파

jaytiger

이번 글에서는 간단한 BI(Business Intelligence) 분석을 진행하며 비즈니스 질문에 대한 답을 찾아가는 과정을 다뤄보고자 한다.BigQuery 언어에 익숙하지 않더라도 우선은 분석흐름에 익숙해지는 것을 목표로 제시된 쿼리들을 하나씩 실행하며 결과를 확인

soo-im

BigQuery 중요한/헷갈리는 내용 정리

200ok

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

thyoondev

GCP에서 빅쿼리문 짜기

maintain0404

빅쿼리를 조사하다 느낀 점을 적어보았습니다.

ensoo94

기본적으로 있는 데이터 그대로 가공하지 않고 집계하는 게 DW, DM이지만 일을 하다보면 이 원칙이 통하지 않을 때가 있다. 이번에도 그랬다. 상품 코드를 기준으로 TRANSACTION을 집계하는데, 해당 스키마에 아주 길고 긴 상품 설명 + 상품명 형태의 값이 들어오

hersheythings

본 문서에서는 SQL 기본 문법만 가지고도 구글 빅쿼리, 데이터 스튜디오를 활용해 데이터 웨어하우스와 기본 쿼리를 알아봅니다. 구글 빅쿼리 화면 구성 알아보기쿼리 관련 여러가지 예제

ensoo94

한 데이터셋의 테이블 목록, 또는 어떤 테이블의 모든 스키마 정보를 조회해야 할 때가 있다. 산출물 작성이라거나, 산출물 작성 같은.. .. 그럴 때 INFORMATION_SCHEMA를 이용한다면 하나하나 열어보지 않아도 일괄 조회가 가능하다!위의 쿼리를 통해 조회되는

ensoo94

전 세계 쇼핑몰 데이터를 수집하는 프로젝트를 진행하며 기묘한 상황과 마주쳤다. 분명 같은 테이블의 같은 PK를 가진 같은 데이터인데, 책임님이 조회하셨을 때와 내가 조회했을 때의 CREATED_AT 시간이 달랐던 것! 알고보니 책임님이 쓰시는 DBeaver와 내가

ziyoonee

React Native & Firebase & Analytics & FCM & BigQuery 연동하기

drrobot409

2020. 11. 30 월요일

drrobot409

2020. 11. 09 월요일

makeitcloud

Cloud 감사 로그는 Google Cloud 프로젝트, 폴더, 조직에 세 가지 audit log(관리자 활동, 데이터 액세스, 시스템 이벤트)를 유지한다. Google Cloud 서비스에서 감사 로그 항목을 이 로그에 작성하여 Google Cloud 리소스에서 '누가

2innnnn0

해당 포스팅은 철저하게 AWS Athena / Google Bigquery 웹 콘솔을 사용하는 클라우드 데이터소스를 사용하는 분을 위해 작성되었음을 미리 알려드립니다. 대신 귀여운 비버를 드리겠습니다다운로드 링크1 / 다운로드 링크2 (추천 : 본인 OS에 맞게 설치)