도커를 무분별하게 한 PC에서 여러 컴포즈 파일들을 올리고 내리다보면 리소스 관리가 되지않아 한 컴퓨터의 100퍼센트 성능을 낼 수 없다. 이건 또 무슨소리????! CPU나 메모리의 자원은 항상 한정되어 있지만 모든 컨테이너들이 동작하면서 서로서로 100퍼센트의 자원

도커는 한 커널위에서 동작하는 어플리케이션의 집합이다도커는 컨테이너로 격리되어있지만 실제로는 Host PC가 바라보는건 컨테이너고 감싸진 어플리케이션이기 때문에 Host Pc에서 컨테이너에 대한 프로세스 아이디도 확인할 수 있다.가장 먼저 현재 실행되고 있는 컨테이너의

우분투 서버를 사용하다보면 서버가 다운되거나 갑작스럽게 네트워크와 관련된 설정이 날아가는 경우들이 종종있다..😥 해결하는데 자주 커맨드 라인을 까먹어 간단하게 정리해놓음! NetPlan이나 NetworkInface를 컨트롤하는 프로그램을 쓰면 간단하나 한번씩 Netp

😉 2차원 배열내에서 특정 숫자가 있는 인덱스 번호를 리스트에 넣어서 출력 해보자!

mapreduce("poo bar poo bar hello world world hello word poo barbar")bar 2barbar 1hello 2poo 3word 1world 2

Bash 쉘을 사용하다보면 종종 연산자들을 사용하게 되는데 자주 까먹어서 테이블로 정리✌ https://m.blog.naver.com/cjh226/220997193796

✨ Hive External 테이블과 Parquet 저장 파일 매핑 회사에서 Spark SQL를 이용해 Postgres RDB 에서 HDFS내의 Parquet형식으로 저장된 컬럼형 데이터들을 HDFS 내부에 적재해놓고 적재한 데이터를 기존에 사용중이던 Hue에서 Hi

Java에서 이미지 파일을 Base64로 인코딩하여 Kafka 로 Publishing을 할일이 있어 간단하게 코드 정리!가장 먼저 commons-io 를 maven import 를 진행해준다.

사실 그냥 반복문으로 돌려서 구하는게 가장 간편하지만 굳이 괜히 재귀로 구현해보았다

쿠버네티스를 구성하다 보면 토큰값이 나오는걸 지나칠때가 있어서 다시 조회하는 경우가 필요한데 다음 아래와 같은 단계로 진행하다보면 토큰값을 구할 수 있다.먼저 kubeadm token list 커맨드로 토큰의 값을 조회하면 다음 아래와 같은 글이 출력되면서 TOKEN

}012013014015023024025034035045123124125134135145234235245345Process finished with exit code 0

다양한 방법의 풀이 방법이 존재하는 주어진 배열에서 연속 구간의 최대 합 구하기 알고리즘을 Java 언어와 분할 정복으로구현하였으며 시간 복잡도는 O(nlgn) 이다.예제로 풀이한 아래 코드에서 최대합은 14 로 결과가 나온다.

항상 볼때마다 궁금했던 내용을 이번에 다른글들을 참고하며 정리를 하게 되었음.정답부터 말하자면 mysql.sock이란 Unix Domain Socket 이다.이 Unix Domain Socket 이라는 것은 TCP/IP와 같은 식으로 다룰 수 있는 통신 소켓이라고 보

하이브가 동작할때 MapReduce 기반으로 동작한다고 하지만 쿼리에 따라서 다르게 동작한다.예를 들어 아래와 같이 단순하게 테이블만을 조회하는 쿼리는 MapReduce로 동작하지 않고 하이브가 테이블로 부터 레코드를 읽어서 형식에 맞춰 콘솔에 출력해준다 SELECT\

하둡이 설치되지 않은 서버에서 원격지에 있는 하둡에 접속하기 위해서는 두 가지의 XML 설정파일이 필요합니다. 두 가지의 XML 설정 파일은 core-site.xml, hdfs-site.xml 이며 이 파일들은 하둡이 설치되어 있는 서버의 하둡 디렉토리의 설정 디렉토리

내용을 병합하는 데 사용할 형식을 결정합니다. Binary Concatenation 은 그냥 별다른 처리 없이 무식하게 합쳐진 결과를 나타내는것 같습니다.FlowFile들을 병합할 때 각 FlowFile들의 Attribute들은 어떻게 할지를 정합니다.병합할때 기준이

Kafka의 접속 주소 정보와 포트를 “,” 를 기준으로 입력kafka1:9092,kafka2:9092,kafka3:9092PLAINTEXT로 설정 PLAIN 으로 설정아이디 입력패스워드 입력사용하고자 하는 토픽명을 입력데이터가 전송됨을 어떻게 보장할지 방법을 정합니다

NIFI에서 Kafka와 Hadoop HDFS를 이용해 파일을 적재하기 위한 설정을 위한 테스트 테스트에 진행한 NIFI Processor 는 다음과 아래와 같다.GenerateFlowFile: FlowFile 을 생성하는 테스트 용도로 사용PublishKafka_2

Apache NiFi는 과거 NSA(National Security Agency)에서 개발하여, Apache에 기증한 Dataflow 엔진2014년 기술 전송 프로그램의 일부로서, 오픈소스화 된 나이아가라 파일(NiagaraFiles)에 기반을 두고 있음데이터를 가져오

HDFS 세이프모드는 데이터노드를 수정할 수 없는 상태 즉 읽기전용상태가 되는것을 말하며 비정상적으로 종료(서버 다운) 등이 되었을때 주로 세이프모드로 진입한다. 세이프 모드로 진입하는 경우 데이터 추가와 삭제가 불가능하며 데이터 복제도 일어나지 않는다.또한 사용자 및