[AWS] Glue - job

1. glue job 생성 (데이터 변환)

[경로] AWS Glue Studio → Jobs

Create Job - Visual with a source and target ( 프로세스 또는 변환이 쓰는 데이터 저장소 )

Create 클릭

제목 - skills-glue-job (과제지에서 나온 값으로 지정한다)

Node properties 클릭

Name - input

Node type - Amazon S3

Data source properties - S3 클릭

Data Catalog table 선택

Database - skills-db

Table - t_bucket_t

Node properties 클릭

Name - Change Schema

Node parents - input

Transform 클릭 (데이터 변환 취소)

Drop - event_time, idfa, partition_0 선택

Node properties 선택

Name - output

Node type - Amazon S3

Node parents - Change Schema

Data target properties - S3

Format - Parquet

Compression Type - Snappy

S3 Target Location - s3 url/output/

Job details 클릭

IAM Role - skills-glue-s3-iam

Script filename - skills-glue-job.py