PROJECT_실시간데이터_파이프라인구축

1.[P1] 실시간 데이터 파이프라인 구축 프로젝트

post-thumbnail

23년도 첫 사이드 프로젝트를 진행해보고자한다.기본적인 아키텍처는 다음과 같다.프로젝트 개요1\. 데이터 수집: 트위터 API, 구글 API 등을 이용하여 실시간 데이터를 수집합니다.2\. 데이터 적재: 수집한 데이터를 데이터베이스(ex: Apache Cassandra

2023년 2월 8일

2.[P1] AWS EC2를 이용한 KAFKA 클러스터 구축 따라하기

post-thumbnail

AWS ec2 인스터스 생성과정서버 설정 및 설치 과정kafka zookeeper 설치 및 실행과정

2023년 2월 5일

3.[P1] 실시간 데이터 Kafka로 받기

post-thumbnail

실시간 데이터업비트 API토픽삭제 커맨드./kafka-topics.sh --delete --bootstrap-server kafka-01:9092,kafka-02:9092,kafka-03:9092 --topic topic-B토픽 생성 커맨드./kafka-topics.s

2023년 2월 27일

4.[P1] DynamoDB 연동하기(1)

post-thumbnail

업비트 API를 이용하여 가져오는 실시간 데이터를 AWS의 s3와 dynamoDB에 각각 저장해보자.

2023년 2월 28일

5.[P1] DynamoDB 연동하기 (2)

post-thumbnail

업비트 API를 이용하여 가져오는 실시간 데이터를 AWS의 dynamoDB에 저장해보자. 💡참고 python confluent_kafka 모듈과 kafka 모듈의 차이점 The main differences between the confluent_kafka mod

2023년 3월 1일