# dataflow

8개의 포스트
post-thumbnail

spring cloud data 사용시 task-job연관관계 설정 안되는 현상

dataflow를 사용하기 위해서 대시보드를 구성했었는데, 배치를 실행하다가 실패한 이후로 Job executions메뉴에 들어가지지 않았다. 서버에 들어가보니 아래같은 에러가 남아있었다.따로 설정을 변경하거나 한적은 없는데 왜 그럴까..이 문제를 해결하려면 TASK

2021년 4월 17일
·
0개의 댓글
·
post-thumbnail

dataflow task 관리가 안되는 현상(feat. @EnableTask)

dataflow에 간단한 batch잡을 만들어서 실행시켰는데, 대시보드에서 Jobs 메뉴에 들어가지 않았다.k8s환경이라 배치pod의 내용을 살펴보니 정상적으로 종료되고 COMPLETE상태로 끝난것 같았는데 이상했다.문제 해결을 위해 dataflow-spring-clo

2021년 4월 16일
·
0개의 댓글
·
post-thumbnail

[GCP] ETL Processing on Google Cloud Using Dataflow and BigQuery 퀵랩

오늘 할 랩은 Dataflow와 Bigquery를 이용해서 ETL Processing!1\. 시작 코드 다운로드하기자주 사용할 변수를 정해준다.2\. 스토리지 버킷 만들기 us-central1 리전에 만들어주었다.3\. 파일들을 버킷에 복사하기 4\. Big query

2021년 1월 12일
·
0개의 댓글
·
post-thumbnail

[GCP] Windowing in Dataflow

Windowing > 윈도우 기능은 제한되지 않은 컬렉션을 논리적 구성 요소 또는 windows로 나눕니다 . Windowing 함수는 개별 요소의 타임 스탬프별로 제한되지 않은 컬렉션을 그룹화합니다. Fixed window 고정 간격의 window로 모든 키에 걸

2021년 1월 12일
·
0개의 댓글
·
post-thumbnail

[GCP] Qwiklabs Quest 해결하고 Skill Badge 획득하기

저번 포스팅이후 퀵랩을 통해 세 개의 뱃지를 획득했다!챌린지한 퀘스트는 다음과 같다Perform Foundational Infrastructure Tasks in Google CloudCreate and Manage Cloud ResourcesPerform Founda

2020년 8월 27일
·
0개의 댓글
·

Tensorpack으로 DataLoader 구현하기

Tensorpack으로 DataLoader 구현

2020년 4월 17일
·
0개의 댓글
·