[AWS]Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose란?

스트리밍 ETL 솔루션이다. 스트리밍 데이터를 데이터 스토어와 분석 도구에 로드하는 가장 쉬운 방법이다. 스트리밍 데이터를 캡쳐하고 변환 후 Amazon S3, Amazon Redshift, Amazon OpenSearch Service 및 Splunk로 로드하여 이미 사용하고 있는 기존 비즈니스 인텔리전스 도구 및 대시보드를 통해 거의 실시간으로 분석할 수 있다. 데이터 처리량에 맞춰 자동으로 크기가 조정되며 관리가 필요없는 완전 관리형 서비스이다.

ETL 이란?

데이터베이스 기능의 추출, 변환 및 로드 (extract, transform, and load)의 약자
추출: 원본에서 데이터를 수집
변환: 해당 데이터에서 수행된 처리
로드: 처리된 데이터를 웨어하우스, 데이터레이크 또는 분석 도구과 같은 대상으로 전송하는 것

스트리밍 ETL이란?

한 장소에서 다른 장소로 실제 데이터를 처리 및 이동하는 것