# ksqldb

Kafka Streams 파이썬으로 구현하기 (with ksqlDB)
Kafka Streams란? > * 공식 문서: https://kafka.apache.org/documentation/streams/ > > " Kafka Streams is a client library for building applications and microservices, where the input and output data are stored in Kafka clusters. It combines the simplicity of writing and deploying standard Java and Scala applications on the client side with the benefits of Kafka's server-side cluster technology. " <img src="https://velog.velcdn.com/image
ksqlDB 실습
Quick Start https://ksqldb.io/quickstart.html 실습 환경은 위에 링크에서 각자 환경에 맞게 셋팅하면 됨 (여기서는 docker로 환경 셋팅함) > 시나리오 Mountain View 주변의 라이더 찾기 Mountain View 위치 (lat, long): (37.4133, -122.1162) 주변 기준 : 5마일 / 10마일 Stream: riderLocations 생성 > 라이더의 위치에 대한 스트림 |key|value| |:-:|:-:| |profileId|라이더 ID| |latitude|위도| |longitude|경도| |parameter|description| |:-:|:-:| |kafka_topic| 스트림을 흘려줄 topic의 이름토픽이 없으면 생성하고 이미 있으면 해당 토픽에 스트림 생성| |value_format|json{"profileId": "c2309eec",
스트림 처리 도구 비교
개요 실시간 작업에 대한 요건이 증가함에 따라 스트림 데이터를 처리할 플랫폼을 구성할 필요가 생겼습니다. 플랫폼을 구성하기에 앞서 어떤 도구를 활용하는게 좋을지 간략하게 배운 내용을 정리해봅니다. 스트림 프로세싱 > 스트리밍 데이터는 실시간 정보의 지속적인 흐름이자 이벤트 기반 아키텍처 소프트웨어 모델의 기반입니다. 현대적인 애플리케이션은 스트리밍 데이터를 사용하여 데이터를 처리, 저장, 분석합니다. -RedHat 스트림 프로세싱은 신규 데이터를 끊임없이 처리해 결과를 만들어내는 행위로 배치 프로세싱과 대치되는 데이터 처리방식입니다. 스트림 프로세싱 사례 실시간 검색순위 위치 데이터 이상거래 탐지 및 방지 스트림 프로세싱 플랫폼의 종류와 특징 Apache Flink 매우 활발한 개발활동 모니터링