[2023 기능대회 준비] 21. 실습2 - Kinesis 시스템 구성하기

Yohan_05·2023년 3월 27일
2
post-thumbnail

Kinesis Streams

우선 키네시스 스트림을 생성하기 위해 데이터 스트림 생성을 클릭하여 생성 창으로 이동해줍니다.

데이터 스트림의 이름은 아까 API-Gateway 실습을 진행할때 벨로시티로 작성한 코드에 작성한 이름으로 지어준다. 이후 별다른 옵션을 건들이지 않고 데이터 스트림 생성 클릭.

S3

S3 생성 페이지로 이동하여 버킷이름, 리전을 설정해주고 퍼블릭 액세스는 차단(디폴트)로 설정해준다.

S3가 생성완료된 것을 볼 수 있다. 따로 파일 업로드나 이런것들은 진행하지 않겠다.

Kinesis Firehose

Firehost를 만들어주기 위해 이동, 전송 스트림 생성을 눌러준다.

소스로는 아까만든 DataStreams 를 사용해줄 것이고, 대상으론 S3 버킷을 사용할 것이다.

소스 설정은 아까만든 Data Stream을 선택해주고, 관리하기 편하게 소스의 이름과 전송 스트림의 이름을 동일시하게 class-stream 으로 지정해주겠다.

아까만든 S3 버킷을 선택해주고, /rawdata 라는 버킷 접두사를 추가해준 다음 쭉쭉 내려서 Kinesis Firehose를 생성해준다.

이름이랑 이론은 진짜 복잡하고 어려워보였는데 막상해보면 별거 없이 생성이 완료됐다.

마치며

다음엔 이 구축한 수집 파이프라인이 잘 동작하는지 테스트를 해보도록하겠다.

profile
안녕하세요 DevOps 엔지니어로 현업에서 활동중인 요한이라고 합니다.

0개의 댓글