# BigQuery

109개의 포스트
post-thumbnail

BigQuery 원격 함수를 사용한 Object Table Label Detection

BigQuery 원격 함수는 Cloud Functions 및 Cloud Run과 BigQuery의 직접적인 통합을 제공하여 BigQuery 외부 소프트웨어에서 GoogleSQL 기능을 사용할 수 있는 것이다. 원하는 언어로 Cloud Functions 또는 Cloud

약 6시간 전
·
0개의 댓글
·
post-thumbnail

빅쿼리 테이블 중복 제거하기

실수로 중복 적재된 빅쿼리 테이블 쿼리와 Python API 이용하여 중복 제거하기

2023년 5월 10일
·
0개의 댓글
·
post-thumbnail

BigQuery Authorized View

승인된 뷰를 사용하면 기본 소스 데이터에 대한 액세스 권한을 부여하지 않고도 특정 사용자 및 그룹과 쿼리 결과를 공유할 수 있다.일반 뷰 vs 승인된 뷰데이터 엔지니어링 팀은 로우 데이터의 많은 테이블이 있는 데이터 세트를 유지 관리하지만 이러한 테이블의 하위 집합을

2023년 5월 9일
·
0개의 댓글
·
post-thumbnail

Dataproc Serverless를 사용한 Hive 마이그레이션

Dataproc Serverless를 사용하면 자체 클러스터를 프로비저닝하고 관리할 필요 없이 Spark 배치 워크로드를 실행할 수 있게 해준다.여기선 Dataproc Cluster에 Hive DB를 BigQuery로 마이그레이션 해볼 것이다.기존에는 이를 위해선 Co

2023년 5월 2일
·
0개의 댓글
·
post-thumbnail

Workload Identity Federation을 사용한 Keyless API Authentication

보통 타 클라우드 플렛폼, 온프레미스에서 실행되는 애플리케이션 같은 경우 GCP API를 호출할 때 서비스 계정을 사용한다. 하지만 이는 보안적인 측면에서 위험성이 있다. 또한 조직의 클라우드상에서의 애플리케이션 배포와 같은 워크로드가 증가할 경우 키 관리에 있어서도

2023년 4월 21일
·
0개의 댓글
·
post-thumbnail

[구글 빅쿼리 완벽 가이드 - 1장] 빅쿼리의 등장 배경과 특징

구글 빅쿼리 완벽가이드 1장을 읽으며 정리한 글

2023년 4월 19일
·
0개의 댓글
·
post-thumbnail

Dataplex와 DPMS를 사용한 데이터 탐색

Dataplex란 데이터 레이크, 데이터 웨어하우스, 데이터 마트의 데이터를 중앙에서 관리, 모니터링, 제어하고 이 데이터를 다양한 분석 및 데이터 사이언스 툴에 안전하게 제공할 수 있는 지능형 데이터 패브릭으로 기존의 Data Catalog 서비스와 통합된 상품이다.

2023년 4월 14일
·
0개의 댓글
·
post-thumbnail

01. 빅쿼리 자료형 - 배열과 구조체

ARRAY와 STRUCT가 뭘까

2023년 3월 25일
·
0개의 댓글
·
post-thumbnail

BigQuery Streaming Buffer

오늘 대시보드 서비스를 하나 배포했다.대시보드 하나를 위해서 진짜 수 많은 배포 작업이 있었다..Debezium Connector, Kafka-Streams, google-flunetd, airflow, google log router, bigquery 등,,,간단한

2023년 3월 16일
·
0개의 댓글
·

Airflow 와 BigQuery 연결하기 + BigQuery DAG Example

BigQuery에 웹행동 이벤트 데이터를 수집하고 있다. 그 데이터들을 이리저리 만지고 옮기고 위해 Airflow를 활용하기로 했다.(물론 나혼자 결정) Airflow 는 데이터 엔지니어 직무에서 주로 ETL 작업에서 주로 사용하는 툴로 알고 있다.

2023년 3월 16일
·
0개의 댓글
·
post-thumbnail

00. Google BigQuery를 들어가며

빅쿼리란 무엇인가

2023년 3월 12일
·
0개의 댓글
·
post-thumbnail

[BigQuery] 절차적 언어1(Procedural language) (DECLARE/EXECUTE/SET/BEGIN)

절차적 언어란? 빅쿼리 내에서 변수를 선언하고 변수 할당 값을 적용시켜 쿼리를 실행할 수 있는 내용에 대한 정리입니다.

2023년 3월 9일
·
0개의 댓글
·
post-thumbnail

[원티드 프리온보딩 데이터 분석 챌린지] 1주차 1일 homework

원티드 프리온보딩 데이터 분석 챌린지 1주 1일차 과제 - 저연차 대상 공고로 WordCloud 만들기 + EDA report

2023년 3월 7일
·
0개의 댓글
·
post-thumbnail

[데이터챌린지]EDA에서 프로덕트 분석까지_1일차(BigQuery, Colab)

Google Bigquery에서 쿼리문으로 테이블 재설정하고 Colab에서 데이터 시각화해보기

2023년 3월 6일
·
0개의 댓글
·
post-thumbnail

Workflows를 사용한 파이프라인 Orchestration

GCP의 대표적인 Workflow Orchestration 툴이라고 하면 Cloud Composer(Apache Airflow)를 말할 수 있지만 더욱 저렴한 Workflows라는 서비스가 있다.Workflows는 짧은 레이턴시의 event-driven 방식을 통해 애

2023년 2월 14일
·
0개의 댓글
·
post-thumbnail

bq CLI를 사용하여 로컬 데이터 로드하기

bq load 사용해보기

2023년 2월 11일
·
0개의 댓글
·
post-thumbnail

[Google] BigQuery

BigQuery란 대용량 데이터 셋( 테이블 이름 Project ID: 구글 클라우드 프로젝트의 ID이다. Dataset ID: 주어진 클라우드 프로젝트 내에서 고유한 BigQuery 데이터 셋 ID이다. Table ID: 지정된 데이터 셋 내에서 고유한 BigQue

2023년 2월 1일
·
0개의 댓글
·
post-thumbnail

[BigQuery] NET.HOST

NET.HOST BigQuery > Net 함수 (공식 문서) > URL을 STRING으로 취해 호스트를 STRING으로 반환한다. 최상의 결과를 위해서는 URL 값이 RFC 3986 에 정의된 형식을 준수해야 한다. 함수에서 입력을 파싱하지 못랄 경우에는 NULL을

2023년 1월 30일
·
0개의 댓글
·
post-thumbnail

[BigQuery] UDF

UDF란? UDF(User Define Function)이란 SQL에서 사용자가 정의한 함수를 의미한다. UDF 종류 Temp UDF : 쿼리문 위에 정의해서 사용하는 방식이다. Persistent UDF : BigQuery의 데이터셋에 저장해서 사용하는 방식으로 여

2023년 1월 30일
·
0개의 댓글
·