Hadoop

Java 설치 SSH 설정 ` Hadoop 다운로드 https://hadoop.apache.org/releases.html 환경 설정 환경 변수 설정 > 아래 내용 추가 ##HADOOP VARIABLES START export JAVA_HOME= export

AWS EC2 t2.xlargeOS : Redhat 8.6Hive Version : 3.1.3아래 내용 추가아래 내용 추가아래 내용 추가https://dlcdn.apache.org/hive/hive-3.1.3/

AWS t2.xlargeOS : Redhat 8.6MySQL Version : 8.0.31MySQL Downloadhttps://dev.mysql.com/downloads/repo/yum/MySQL Docs - Installing MySQL on Linux U

Redhat8에 MongoDB 6 설치하기 + 실행 시 오류

Podman compose로 kafka 실행하기

Spakr SQL 연습

Spark Docs에 나오는 Spark Streaming 예제 localhost:9999에서 입력 단어 세기

0. 실행 환경 > AWS EC2 t2.xlarge OS : Red Hat 9.1 Kafka :3.3.1 Scala : 2.13 1. Topic 만들기 토픽 생성 토픽 리스트 확인 producer 실행 여기 입력한 메세지가 토픽에 post됨 Consumer 실

consumer.py 실행해 놓고 다른 창에서 producer.py 실행토픽 이름, offset(메세지 온 순서), timestamp, so메세지 받을 때 마다 offset으로 메세지 온 순서 내용 등이 전달된다.