SCDF
: stream 및 batch의 데이터 처리 파이프라인을 구축하기 위한 마이크로 서비스 기반의 플랫폼
Cloud Foundry
Kubernetes
Local machine
messaging system
- Kafka Steam
- RabbitMQ
- Amazon Kinesis
- Google Pub/Sub
- Solace PubSub+
- Azure Event
이외 커스텀 가능
장점
- 주요로직만 구현하면 파이프라인 및 배포를 플랫폼에서 자동으로 구성
- 파이프라인의 각 단계 별로 스펙을 조정할 수 있어서, 작업에 적합하게 제어할 수 있다. (스케인 인/아웃, 업/다운)
- stream과 batch의 보일러 플레이트 부분들을 플랫폼에서 재사용하기 때문에 주요 로직만 구현
- app들의 관계를 DSL로 사용하여 정의
- app들이 scdf와 별로 동작하기 때문에 scdf가 죽어도 app들은 상관없음
- 확장성 무한함
- 가벼운 플랫폼 - 모든 것을 소스레벨에서 디버깅 가능
- 배치가 k8s의 job으로 실행되기 때문에 실행될 때문만 서버 구동
- 모듈 단위로 버전 관리가 되어 같은 모듈의 서로 다른 버전 사용 가능
