# streams

5개의 포스트
post-thumbnail

AWS #6

DynamoDB DynamoDBsms Not Only SQL인 데이터베이스이다. 매우 빠른 쿼리 속도를 가지고 있으며 Auto-Scaling 기능을 탑재하여 데이터의 크기에 따라 테이블이 확대, 축소 될수 있으며 이를 통해 비용을 절감할 수 있다. NoSQL이므로 테이블 생성 시 스키마 생성이 필요 없으며 key-value데이터 모델을 지원한다. DynamoDB 구성요소 Table - Entitiy와 비슷한 개념 Items - 행과 개념이 비슷합 Attributes - 열과 개념이 비슷함 Primary Keys(PK) DynamoDB는 PK를 사용하여 데이터 쿼리를 날린다. DynamoDB에는 두가지의 PK 유형이 존재한다. 파티션키(Partition Key) -

2023년 7월 10일
·
0개의 댓글
·

Kafka Streams

1. Kafka 구조 broker 외부에서 메시지가 생성되고, broker 외부로 읽어짐. 메시지 파이프라인 구성은 producer와 consumer를 직접 개발하거나, kafka connect를 사용해서 source -> sink 형태로 구성할 수 있음. kafka 내부에서 메시지 파이프라인을 구축할 때, 즉 내부 토픽을 이요해서 파이프라인을 구축할 때 kafka streams가 사용된다. 2. Kafka Streams Streams API 라이브러리. 프레임워크에 종속되지 않고, 라이브러리 의존성을 추가하여 몇 가지 설정만 하면 자동으로 파이프라인이 구성됨. 이를 통해 카프카 내부 파이프라인을 더욱 쉽게 구성할 수 있음. streams는 내부적으로 consumer API를 사용함. 따라서 효과적이고 안정적인 파이프라인 구성 가능. > stream은 broker의 특정 topic을 sub하여, 일련의 로직(전처리 등)을 처리한 뒤

2023년 6월 19일
·
0개의 댓글
·
post-thumbnail

Kafka Streams 파이썬으로 구현하기 (with ksqlDB)

Kafka Streams란? > * 공식 문서: https://kafka.apache.org/documentation/streams/ > > " Kafka Streams is a client library for building applications and microservices, where the input and output data are stored in Kafka clusters. It combines the simplicity of writing and deploying standard Java and Scala applications on the client side with the benefits of Kafka's server-side cluster technology. " <img src="https://velog.velcdn.com/image

2023년 5월 6일
·
0개의 댓글
·

AWS DynamoDB Streams

Streams DynamoDB 테이블에서 일어나는 일들(삽입, 수정, 삭제 등)이 일어날 시 시간적 순서에 맞게 Streams에 기록 Log는 즉각 암호화가 일어나며 24시간동안 보관됨 주로 이벤트를 기록하고 이벤트 발생을 외부로 알리는 용도 (예시 : Lambda Function) 이벤트 전&후에 대한 상황 보관 간단한 아키텍쳐 DynamoDB API -> DynamoDB Endpoint (테이블에 데이터를 넣거나 삭제, 하나의 고유한 엔드포인트와 연결되어 있음) DynamoDB Streams API -> DynamoDB Stream Endpoint 와 연결되어 짐 이벤트 발생시 아키텍쳐 ![](https://vel

2023년 1월 27일
·
0개의 댓글
·

[PHP] 스트림(Streams)

Tistory로 작성된 글을 Velog로 옮기는 중입니다. 원글 : https://paric.tistory.com/787 streamcontextcreate(?array $options = null, ?array $params = null): resource 사전 설정 에 제공된 모든 옵션을 사용하여 스트림 컨텍스트를 만들고 반환합니다 > streamcontextcreate — 스트림 컨텍스트를 생성합니다. streamcontextget_default — 기본 스트림 컨텍스트 검색 streamcontextget_options — 스트림/래퍼/컨텍스트에 대한 옵션 검색 streamcontextget_params — 컨텍스트에서 매개변수를 검색합니다. streamcontextset_default — 기본 스트림 컨텍스트 설정 streamcontextset_option — 스트림/래퍼/컨텍스트에 대한 옵션을 설정합니다. streamcontexts

2022년 6월 21일
·
0개의 댓글
·