본 글은 페스트캠퍼스트의 -클라우드를 활용한 데이터 파이프라인 구축- 이란 강의를 듣고 정리한 내용들입니다! 문제시 삭제하도록 하겠습니다.
API Gateway
- 어떤 규모에서든 개발자가 API를 생성, 게시, 유지 관리, 모니터링 및 보호할 수 있게 해주는 aws 서비스
- 모바일 및 웹 애플리케이션에서 aws 서비스에 액세스할 수 있는 일관된 RESTFul 애플리케이션 프로그래밍 인터페이스(API)를 제공함.
- 사용자는 RESTful API를 생성, 구성, 호스팅하여 애플리케이션의 AWS 클라우드 액세스를 지원함.
Kinesis Stream
대규모 데이터 레코드 스트림을 실시간으로 수집하고 처리할 수 있음.
Kinesis Firehose
Amazon Kinesis Data Firehose는 실시간 스트리밍 데이터를 S3, Redshift or ES 및 Splunk 등의 대상을 전송하기 위한 완전 관리형 서비스
S3
버킷
- S3에 저장된 객체에 대한 컨테이너
- 모든 객체는 어떤 버킷에 포함
- 쉽게 이해해서 윈도우의 Root폴더라고 이해를 하면됨.
객체
- Amazon S3에 저장되는 기본 개체
- 객체와 객체 데이터와 메타데이터로 구성된다.
키
- 버킷 내 객체의 고유한 식별자
- 버킷 내 모든 객체는 정확히 하나의 키를 갖는다.
- 버킷, 키 및 버전 ID의 조합이 각 객체를 고유하게 식별하기 때문에 Amazon S3는 "버킷 + 키 + 버전" 과 객체 자체 사이의 기본 데이터 맵으로 간주할 수 있다.
마치며
다음 시간부턴 아래의 아키텍처를 만드는 실습을 진행할 예정이다. 개념들은 이미 다 정리가 되었을거라고 믿고 바로 진행하도록 하겠다.
안녕하세요 DevOps 엔지니어로 현업에서 활동중인 요한이라고 합니다.