# Cloud SQL

minbrok

embulk 데이터를 전송하는 오픈 소스 Bulk Data Loader. ETL에서 Transformation 외에 Extraction, Loading 에서 여러 plug-in을 제공. 특징 Input file format을 자동으로 인식 병렬, 분산 수행 가능 Transaction Control Resuming RubyGem 기반 MySQL(Cloud SQL) BigQuery 간에 embulk를 통해서 데이터를 export/import 해볼 것이다. 사전 작업 Cloud SQL - MySQL 인스턴스 생성 BigQuery 데이터 세트 생성 Service Account 생성 후 JSON 키 다운 미리 콘솔에서 MySQL DB 생성 ![](https

hkjs96

GCP Database Service Cloud SQL 인스턴스 완전 관리형 서비스인 관계형 MySQL, PostgreSQL, SQL Server 데이터베이스 Google에서 복제, 패치 관리, 데이터베이스 관리를 처리하기 때문에 가용성과 성능이 보장 Cloud SQL을 시작하려면 새 인스턴스를 만들거나 Database Migration Service를 사용해 SQL 데이터베이스를 Google Cloud로 마이그레이션 하면 됩니다. SQL 검색 또는 탐색 메뉴 - SQL 클릭 대시보드 ![](https://velog.

minbrok

아키텍처 GCP의 Database Migration Service를 사용해 AWS RDS - MySQL을 GCP의 Cloud SQL - MySQL로 마이그레이션 해볼 것이다. > VPN 구성은 여기선 HA가 아닌 기본 구성으로 진행할 것이고 AWS는 하나의 VPN interface마다 2개의 터널을 제공한다. (일반 구성 -> 2개, HA 구성 -> 4개의 interface가 생성됨.) Database Migration API 활성화 AWS에서 Customer Gateway를 통해 GCP로 연결할 엣지 IP를 하나 할당 ![](

minbrok

아키텍처 Datastream Datastream은 사용이 간편한 서버리스 CDC(변경 데이터 캡처) 및 복제 서비스. 지연 시간을 최소화하면서 이기종 데이터베이스와 애플리케이션에서 데이터를 안정적으로 동기화할 수 있다. Datastream은 Oracle 및 MySQL,PostgreSQL 데이터베이스에서 Cloud Storage로의 스트리밍을 지원하고 Dataflow 템플릿과 통합해 분석을 위한 DW를 구축할 수 있다. Cloud SQL - MySQL을 하나 만들어주고 아래와 같이 간단하게 DB,테이블을 만들어주자. ![

minbrok

아키텍처 CDC CDC란 Change Data Capture로 DBMS에서 데이터가 변경되면 transaction log를 통해 해당 항목을 추적하고 이러한 변경에 대응해야 하는 다른 시스템 및 서비스에 알림을 전송하는 검증된 데이터 통합 패턴이고, Debezium은 대표적인 CDC 툴이다. Cloud SQL 생성 MySQL로 생성해주고 외부에서 접속을 해주기 위해 접속을 승인할 네트워크 대역을 지정해준다. 해당 ip는 아래에서 생성해줄 내 VM ip를 확인하여 지정해준 것이다. 아래 명령어로 Cloud SQL 접속

alskfl

부트캠프 교재를 복붙하는 것이 아닌 실제 써보고 배운 것을 정리해보려고 합니다 매일 쓸 자신은 없지만 최대한 노력해보겠습니다 이 포스트는 수정되었습니다 사진대로 인스턴스를 생성하면 한 달도 못 가서 평가판 크레딧이 사라지고 과금 왕창 들어갑니다 ㅠㅠ 최대한 절약할 수 있는 인스턴스 생성으로 다시 올려봅니다 ㅠㅠ 아마 다음 달 무료로 쓸 수 있을 때까지 프로젝트 재설계 하면서 다시 처음부터 깔끔하게 해보겠습니다 >무료로 어디까지 사용할 수 있을지는 여기서, GCP - 무료 체험판 및 무료 등급 > >자세한 비용은 여기서 계산해 보시기 바랍니다 Google Cloud 가격 계산기 라즈베리파이 크롤링 파이썬으로 제 채널 유튜브 브금 리스트 & 곡을 크롤링 하고 DB에 넣는 코드를 만들고 그 코드를 같은 도커