# Kinesis

43개의 포스트
post-thumbnail

SpringBoot -> Kinesis -> S3

개요 cpc 검증을 하면서 Spring에서 kafka처럼 kinesis가 데이터가 쌓이는지? 그리고 kinesis에 연결된 타겟팅 S3에 데이터가 제대로 적재되는지에 대해 검증하게 되었다. Data를 Kinesis stream에 넣기 1. dependency 2.

2023년 11월 1일
·
0개의 댓글
·
post-thumbnail

[AWS] Kinesis Data Firehose란?

지난 글 Kinesis Data Stream에 이어 이번에는 Kinesis Data Firehose에 대해 알아보겠습니다. Kinesis Data Firehose 개요 'hose'라는 이름에서 연상할 수 있듯이, 데이터를 이동시키는 서비스입니다. 굉장히 적은 데이터라

2023년 10월 27일
·
0개의 댓글
·
post-thumbnail

[AWS] Kinesis Data Stream 이란?

aws를 공부하다가 내용을 확실하게 알고 넘어가야겠다 싶어 확실하게 정리하려고 합니다.application to application애플리케이션이 또 다른 애플리케이션과 직접적으로 연결된 상태를 말합니다. 예를 들면 구매 서비스와 배송 서비스가 직접적으로 연결되어 있어

2023년 10월 23일
·
0개의 댓글
·
post-thumbnail

[AWS SAA] SQS, SNS, Kinesis - Decoupling Application

참조Amazon 심플 큐 서비스란?Amazon Kinesis Data Streams 용어 및 개념

2023년 10월 17일
·
0개의 댓글
·
post-thumbnail

디커플링

Decoupling에 대해서 알아보고 이를 도와주는 도구들에 대해서 알아봅시다!

2023년 9월 26일
·
0개의 댓글
·
post-thumbnail

AWS Kinesis

실시간 스트리밍 데이터를 손쉽게 수집하고 처리하여 분석을 가능하게 하는 서비스이다.(실시간 데이터: 애플리케이션 로그, 계측, 웹사이트 클릭 스트림, IoT 원격 측정 데이터 등)

2023년 9월 15일
·
0개의 댓글
·
post-thumbnail

[AWS] Kinesis Data Firehose Dynamic Partitioning

로그에 기록된 시간이나 항목을 기준으로 S3 Prefix를 가지게 하고 싶다면 Kinesis Data Firehose의 Dynamic Partitioning 기능을 이용하면 됩니다.

2023년 9월 10일
·
0개의 댓글
·

AWS_SAA_준비(36)

Synchronous communications애플리케이션이 또 다른 애플리케이션과 직접적으로 연결Asynchronous / Event Based대기열 ( Queue ) 등으로 불리는 미들웨어가 애플리케이션과 애플리케이션을 연결생산자와 소비자 사이를 분리하는 버퍼 역할

2023년 8월 21일
·
0개의 댓글
·
post-thumbnail

Kinesis Firehose - Grafana agent로 연결

kinesis로 전송하는 로그 데이터들을 grafana & loki로 확인하고 싶다면 Grafana Flow mode를 활용하면 됩니다.Grafana Agent는 Grafana Labs에서 개발한 오픈 소스 소프트웨어입니다. Grafana Agent는 Prometheu

2023년 8월 15일
·
0개의 댓글
·
post-thumbnail

Flink, KDA

이전 실습에 이어서 진행Scala Class -> Objectbuild.sbt 에 awsSdkVersion 의존성 추가AWS System Managers에 저장한 데이터를 리턴함실행시 정상적으로 작동기존에는 로컬에서 연결하여 사용하였기 때문에 MSK 프라이빗 엔드포인

2023년 8월 13일
·
0개의 댓글
·

[AWS] Kinsis Firehose 동적 파티셔닝에 대해 알아보자

Firehose에서 동적 파티셔닝을 활성화할 경우, 파티션 키 설정에 대해 알아보자

2023년 7월 18일
·
1개의 댓글
·

[AWS] Kinesis에 대해 알아보자

실시간 데이터 처리를 위한 AWS 서비스인 Kinesis에 대해 알아보자

2023년 7월 18일
·
1개의 댓글
·
post-thumbnail

[AWS] api gateway - Kinesis json

api gateway - Kinesis json

2023년 4월 3일
·
0개의 댓글
·
post-thumbnail

[AWS] kinesis Data Firehose

kinesis Data Firehose 생성경로 Amazon Kinesis → 전송 스트림 → 전송 스트림 생성소스 - Amazon Kinesis Data Streams 대상 - Amazon S3 (목적지)Kinesis Data Stream - test-kinesis전

2023년 4월 3일
·
0개의 댓글
·
post-thumbnail

[AWS]Kinesis Put record IAM

Kinesis Put record 정책 생성경로 IAM → 정책 → 정책 생성서비스 - kinesis작업 - PutRecord , DescribeStream다음:태그 클릭태그키 - Name값 - wsi-ag-kinesis다음:태그이름 - wsi-ag-kinesis정책

2023년 4월 3일
·
0개의 댓글
·
post-thumbnail

[AWS] API Gateway - Kinesis

API Gateway - Kinesis

2023년 3월 30일
·
0개의 댓글
·
post-thumbnail

[2023 기능대회 준비] 24. 2과제 예상하며 실습해보기

2과제 아키텍처인데 대충 예상해보면.. 1\. EC2에서 API Gateway로 curl 이나 데이터 등을 날림2\. 그러면 api gateway를 통해서 data streams로 이동 3\. data firehose 에서 s3로 그 데이터들이 저장.4\. Glue 와

2023년 3월 28일
·
0개의 댓글
·
post-thumbnail

[2023 기능대회 준비] 22. 실습3 - 파이프라인 테스트하기

실습을 진행할 EC2 하나를 생성해준다.아래 명령어를 실행해준다. 이때 POST 뒤의 URL은 전 실습에서 생성한 API-GATEWAY PROD 스테이지의 URL이다.curl -d "{\\"value\\":\\"30\\",\\"type\\":\\"Tip 3\\"}" -

2023년 3월 27일
·
0개의 댓글
·
post-thumbnail

[2023 기능대회 준비] 21. 실습2 - Kinesis 시스템 구성하기

우선 키네시스 스트림을 생성하기 위해 데이터 스트림 생성을 클릭하여 생성 창으로 이동해줍니다.데이터 스트림의 이름은 아까 API-Gateway 실습을 진행할때 벨로시티로 작성한 코드에 작성한 이름으로 지어준다. 이후 별다른 옵션을 건들이지 않고 데이터 스트림 생성 클릭

2023년 3월 27일
·
0개의 댓글
·