profile
나의 비밀스러운 클라우드 일상 정리 ❤️
post-thumbnail

[AWS] Glue - workflow

glue workflow 생성AWS Glue Workflows - 모든 구성 요소의 실행과 모니터링을 관리합니다경로 AWS Glue → 워크플로 → 워크플로 추가워커플로 이름 - data-workflow워커플로 추가 클릭5-2. 트리거 추가트리거 추가Add new 클릭

2023년 4월 4일
·
0개의 댓글
·
post-thumbnail

[AWS] Glue - job

glue job 생성 (데이터 변환)경로 AWS Glue Studio → JobsCreate Job - Visual with a source and target ( 프로세스 또는 변환이 쓰는 데이터 저장소 )Create 클릭제목 - skills-glue-job (과제지

2023년 4월 4일
·
0개의 댓글
·
post-thumbnail

[AWS] Glue - crawler

Glue crawler 생성Glue crawler - 모든 종류의 리포지토리(ex) - s3)에서 데이터를 스캔하고 분류하며, 스키마 정보를 추출하고, AWS Glue Data Catalog에서 자동적으로 메타데이터를 저장하는 크롤러를 설정할 수 있습니다스키마 - 데이

2023년 4월 4일
·
0개의 댓글
·
post-thumbnail

[AWS] Glue - Databases+table

Glue 개념 사이트 - https://velog.io/@ginee_park/AWS-Glue란Glue Databasess - 중앙 메타데이터 저장소라고 하는 데이터베이스를 사용한다.이 말은 즉, 모든 데이터를 한 곳에 모아 ETL 작업을 할 수 있도록 제공한다

2023년 4월 4일
·
0개의 댓글
·