호텔 대실시간 순서대로 계산해야 하므로 정렬함값 비교를 위해 int로 형변환현재 리스트의 두번째 값 내부에 다음 리스트의 첫번째 값이 존재한다면 생략,다음 리스트의 첫번째 값이 외부에 존재한다면 값 추가

요격 시스템두번째 값의 범위 내에 존재하는지 확인해야 하므로 두번째 값의 내림차순으로 정렬한다.현재 리스트의 두번째 값 내부에 다음 리스트의 첫번째 값이 존재한다면 생략,다음 리스트의 첫번째 값이 외부에 존재한다면 값 추가

ㅇㅇ

이전 실습에 이어서 진행Scala Class -> Objectbuild.sbt 에 awsSdkVersion 의존성 추가AWS System Managers에 저장한 데이터를 리턴함실행시 정상적으로 작동기존에는 로컬에서 연결하여 사용하였기 때문에 MSK 프라이빗 엔드포인

비밀번호, 데이터베이스 문자열 및 라이선스 코드와 같은 비밀번호 및 구성 데이터를 중앙 집중식으로 저장 및 관리합니다. 값을 암호화하거나 일반 텍스트로 저장하고 모둔 수준에서의 액세스를 보장합니다.코드에서 비밀번호를 비롯한 여러 파라미터를 노출시키지 않을 수 있다.AW

flink_project의 환경을 기준으로 실행IDE는 IntelliJ를 사용Job.scala 위치에 우클릭 -> New -> Scala Class -> Object 선택후 파일 이름 선택

MSK Amazon MSK는 Kafka 인프라와 운영을 관리하는 AWS 스트리밍 데이터 서비스이다. Kafka 클러스터를 운영, 유지 관리, 크기 조정, 보안기능을 제공하며, 스트리밍 데이터 어플리케이션 개발 속도를 높여주는 내장 AWS 통합 기능을 제공한다. 설치

에서 버전을 확인 후 해당 버전을 설치 chrome-driver다운로드 후 unzip으로 압축해제Service는 압축해제한 chromedriver 폴더 내부의 chromedriver를 지정한다

사용자 지정 생성개발 및 테스트대기 없는 도메인(가용 영역 수 조절 가능)가용 영역: 2-AZ엔진 옵션: 2.7(최신)인스턴스 유형: t3.small.search노드 수: 2노드당 EBS 스토리지 크기: 10네트워크: 퍼블릭 액세스세분화된 액세스 제어마스터 사용자 생성

Atlas 설치 > cluster name: movie-data Username: skybluelee Password: wA...

mongodb 공식 홈페이지gnupg, curl 설치MongoDB public GPG Key importCreate the /etc/apt/sources.list.d/mongodb-org-6.0.listubuntu 다른 버전을 사용하면 정상적으로 다운이되지 않는다.

여러개의 클러스터를 동시에 사용하는 경우 클러스터를 변경해서 배포해야 함.$ kubectl config use-context <cluster_name>멀티 클러스터를 운영하는 환경에서는 내가 실행하는 명령이 어떤 클러스터로 전송되는지 확인!

GCP에서 무료로 회원가입 후Kubernetes Engine -> 클러스터 -> 만들기cluster의 연결에 들어가서 Cloud Console 실행 후 kubectl 명령줄 입력https://cloud.google.com/sdk/docs/install?hl=k

spark_yarn interpreter 수정spark.jars : /skybluelee/spark3/mysql-connector-java-5.1.49.jarspark.jars.packages : org.apache.bahir:spark-streaming-twitter

kafka에는 master, slave 개념이 없음kafka는 worker에만 설치/skybluelee/kafka_2.12-3.0.0/bin안에 zookeeper에 대한 설정 파일이 존재worker별로 노드를 다르게 설정한다.현 위치: worker-1server1은 m

Redshift upload시 다음과 같은 오류가 발생select \* from sys_load_error_detail로 오류 원인과 위치를 확인할 수 있고다만 위의 경우 핵심인 error_message가 맨 끝에 있는데 Redshift query data web u

데이터 수집 중 값이 변경 되었을 경우

databricks에 관련된 package를 설치한다.spark 폴더에서 실행(폴더 내부에 bin 폴더가 있을 것)이 부분은 필수가 아닐수도 있음redshift 관련 jar 파일을 다운 받고conf에 extraClassPath로 경로를 지정한다.conf에 대한 설정은

본 포스트는 jhleeeme님의 Spark에서 S3 데이터 읽어오기를 참고했습니다. 링크 설치 및 수행 Hadoop-AWS.jar, AWS-java.jar 다운 Hadoop-AWS.jar는 나의 hadoop 버전인 3.3.3을 AWS-java.jar는 최신 버전을 설치

공식문서docker run 하지 않는다. 이후 airflow docker run에서 사용해야 한다.(포트 겹침)selenium에 필요한 module 지정service 내부에서 pull한 image를 실행시킨다stackoverflow