# BigQuery
BigQuery 원격 함수를 사용한 Object Table Label Detection
BigQuery 원격 함수는 Cloud Functions 및 Cloud Run과 BigQuery의 직접적인 통합을 제공하여 BigQuery 외부 소프트웨어에서 GoogleSQL 기능을 사용할 수 있는 것이다. 원하는 언어로 Cloud Functions 또는 Cloud
BigQuery Authorized View
승인된 뷰를 사용하면 기본 소스 데이터에 대한 액세스 권한을 부여하지 않고도 특정 사용자 및 그룹과 쿼리 결과를 공유할 수 있다.일반 뷰 vs 승인된 뷰데이터 엔지니어링 팀은 로우 데이터의 많은 테이블이 있는 데이터 세트를 유지 관리하지만 이러한 테이블의 하위 집합을
Dataproc Serverless를 사용한 Hive 마이그레이션
Dataproc Serverless를 사용하면 자체 클러스터를 프로비저닝하고 관리할 필요 없이 Spark 배치 워크로드를 실행할 수 있게 해준다.여기선 Dataproc Cluster에 Hive DB를 BigQuery로 마이그레이션 해볼 것이다.기존에는 이를 위해선 Co
Workload Identity Federation을 사용한 Keyless API Authentication
보통 타 클라우드 플렛폼, 온프레미스에서 실행되는 애플리케이션 같은 경우 GCP API를 호출할 때 서비스 계정을 사용한다. 하지만 이는 보안적인 측면에서 위험성이 있다. 또한 조직의 클라우드상에서의 애플리케이션 배포와 같은 워크로드가 증가할 경우 키 관리에 있어서도
Dataplex와 DPMS를 사용한 데이터 탐색
Dataplex란 데이터 레이크, 데이터 웨어하우스, 데이터 마트의 데이터를 중앙에서 관리, 모니터링, 제어하고 이 데이터를 다양한 분석 및 데이터 사이언스 툴에 안전하게 제공할 수 있는 지능형 데이터 패브릭으로 기존의 Data Catalog 서비스와 통합된 상품이다.
BigQuery Streaming Buffer
오늘 대시보드 서비스를 하나 배포했다.대시보드 하나를 위해서 진짜 수 많은 배포 작업이 있었다..Debezium Connector, Kafka-Streams, google-flunetd, airflow, google log router, bigquery 등,,,간단한
Airflow 와 BigQuery 연결하기 + BigQuery DAG Example
BigQuery에 웹행동 이벤트 데이터를 수집하고 있다. 그 데이터들을 이리저리 만지고 옮기고 위해 Airflow를 활용하기로 했다.(물론 나혼자 결정) Airflow 는 데이터 엔지니어 직무에서 주로 ETL 작업에서 주로 사용하는 툴로 알고 있다.
[BigQuery] 절차적 언어1(Procedural language) (DECLARE/EXECUTE/SET/BEGIN)
절차적 언어란? 빅쿼리 내에서 변수를 선언하고 변수 할당 값을 적용시켜 쿼리를 실행할 수 있는 내용에 대한 정리입니다.
[원티드 프리온보딩 데이터 분석 챌린지] 1주차 1일 homework
원티드 프리온보딩 데이터 분석 챌린지 1주 1일차 과제 - 저연차 대상 공고로 WordCloud 만들기 + EDA report
[원티드 프리온보딩 데이터 분석 챌린지] 1주차 1일 - BigQuery와 Colab을 이용한 WordCloud 생성
원티드 프리온보딩 데이터 분석 챌린지 1주차 1일복습
[데이터챌린지]EDA에서 프로덕트 분석까지_1일차(BigQuery, Colab)
Google Bigquery에서 쿼리문으로 테이블 재설정하고 Colab에서 데이터 시각화해보기
Workflows를 사용한 파이프라인 Orchestration
GCP의 대표적인 Workflow Orchestration 툴이라고 하면 Cloud Composer(Apache Airflow)를 말할 수 있지만 더욱 저렴한 Workflows라는 서비스가 있다.Workflows는 짧은 레이턴시의 event-driven 방식을 통해 애
[Google] BigQuery
BigQuery란 대용량 데이터 셋( 테이블 이름 Project ID: 구글 클라우드 프로젝트의 ID이다. Dataset ID: 주어진 클라우드 프로젝트 내에서 고유한 BigQuery 데이터 셋 ID이다. Table ID: 지정된 데이터 셋 내에서 고유한 BigQue
[BigQuery] NET.HOST
NET.HOST BigQuery > Net 함수 (공식 문서) > URL을 STRING으로 취해 호스트를 STRING으로 반환한다. 최상의 결과를 위해서는 URL 값이 RFC 3986 에 정의된 형식을 준수해야 한다. 함수에서 입력을 파싱하지 못랄 경우에는 NULL을
[BigQuery] UDF
UDF란? UDF(User Define Function)이란 SQL에서 사용자가 정의한 함수를 의미한다. UDF 종류 Temp UDF : 쿼리문 위에 정의해서 사용하는 방식이다. Persistent UDF : BigQuery의 데이터셋에 저장해서 사용하는 방식으로 여