profile
스마일게이트 스토브 데이터 인프라 개발자
태그 목록
전체보기 (566)python(272)알고리즘(252)백준(203)KDT(58)TIL(36)DP(33)sql(30)BFS(25)그리디(24)프로그래머스(24)브루트포스(22)kafka(20)leetcode(19)도커(19)docker(19)GMP(18)R(16)pandas(13)DFS(13)백트래킹(13)CS(9)자료구조(8)쿠버네티스(8)k8s(8)컴퓨터 구조(7)kubernetes(7)구현(6)CSS(6)데이터분석(6)컴구(5)일기(5)html(5)카프카(4)django(4)Statefulset(3)7568(3)6588(3)인덱스(3)Logstash(3)스택(3)js(3)GA(3)ec2(3)Debezium(3)(2)소트(2)mysql(2)하둡(2)2839(2)부분수열의 합(2)elasticsearch(2)통계학(2)16173(2)프로세스(2)이진탐색트리(2)수들의 합(2)1789(2)바인드 마운트(2)트리(2)numpy(2)1759(2)토마토(2)스타트와 링크(2)10808(2)암호 만들기(2)순열(2)완전탐색(2)괄호(2)kakao(2)캐시(2)팩토리얼 0의 개수(2)BST(2)10844(1)11053(1)11054(1)LIS(1)2606(1)로또(1)알파벳 찾기(1)10815(1)골드바흐의 추측(1)bootstrap(1)최소공배수(1)1991(1)스레드(1)단지번호붙이기(1)Pyton(1)1002(1)내부조인(1)셀프 넘버(1)1065(1)날짜 계산(1)4673(1)한수(1)1003(1)다리를 지나는 트럭(1)소수 구하기(1)2231(1)문자열 압축(1)Merge Sorted Array(1)선형대수학(1)덩치(1)11726(1)14502(1)16234(1)3190(1)13458(1)reverse string(1)1918(1)트리 순회(1)LCS(1)1120(1)에디터(1)11399(1)11047(1)2217(1)Maximum Depth of Binary Tree(1)수식 최대화(1)멀쩡한 사각형(1)프렌즈4블록(1)뉴스 클러스터링(1)설탕 배달(1)B-tree(1)타겟 넘버(1)124 나라의 숫자(1)피보나치 수(1)11279(1)순위 검색(1)2798(1)그림(1)1874(1)2609(1)9095(1)적록색약(1)(1)1978(1)2667(1)10799(1)2748(1)9613(1)1541(1)1946(1)이친수(1)1929(1)리모컨(1)피보나치 함수(1)11729(1)GTM(1)6603(1)11723(1)Valid Palindrome(1)1541번(1)터렛(1)파이프 옮기기 1(1)4963(1)1260(1)1261(1)1389(1)영역 구하기(1)single number(1)7576(1)2293(1)9465(1)최대 힙(1)1748(1)기타리스트(1)1495(1)14891(1)1406(1)BI 대시보드(1)2178(1)크리보드(1)11058(1)괄호 변환(1)부분합(1)2225(1)문자열 집합(1)최대공약수와 최소공배수(1)하노이 탑 이동 순서(1)큐 2(1)데이터 웨어하우스(1)스택 수열(1)DFS와 BFS(1)3085(1)18258(1)요세푸스 문제(1)1388(1)1476(1)14241(1)숫자 문자열과 영단어(1)점프왕 쩰리(1)1012(1)1543(1)문서 검색(1)14226(1)카드2(1)2164(1)거리두기 확인하기(1)10942(1)1806(1)1644(1)2003(1)10026(1)11497(1)11725(1)트리의 부모 찾기(1)1026(1)한국품질재단(1)부등호(1)공공API(1)7562(1)1926(1)bind-mount(1)15686(1)15903(1)10866(1)1934(1)10845(1)2470(1)숫자 카드(1)14425(1)Reverse-Integer(1)1105(1)소수의 연속합(1)7569(1)오큰수(1)10828(1)제곱수의 합(1)14562(1)유기농 배추(1)미로 탐색(1)가장 긴 증가하는 부분 수열(1)15650(1)15652(1)15654(1)15657(1)15663(1)11724(1)1912(1)2150(1)떡 먹는 호랑이(1)구글 태그 매니저(1)lettcode(1)Reverse Linked List(1)11000(1)Google Optimize(1)14503(1)20055(1)14888(1)시험 감독(1)크게 만들기(1)2812(1)9012(1)15649(1)9663(1)17413(1)볼륨(1)1935(1)2743(1)10824(1)패션왕 신해빈(1)9093(1)카프카 커넥트(1)강의실 배정(1)구간 합 구하기 4(1)구간 합 구하기 5(1)Remove Duplicates from Sorted Array(1)10422(1)Rotate Array(1)가장 긴 바이토닉 부분 수열(1)후위 표기식2(1)20291(1)파일 정리(1)mirrormaker2(1)시스템 버스(1)N과 M(9)(1)11057(1)2502(1)종이 조각(1)서울 지하철 2호선(1)14391(1)16947(1)신고 결과 받기(1)Valid Anagram(1)스티커(1)운영제체(1)11659(1)1325(1)효율적인 해킹(1)2468(1)태권왕(1)2583(1)16926(1)1063(1)(1)1 2 3 더하기(1)1 2 3 더하기 5(1)카드 구매하기(1)카드 구매하기 2(1)가장 긴 증가하는 부분 수열 4(1)합분해(1)BABBA(1)2xn 타일링(1)PV(1)9625(1)케빈 베이컨의 6단계 법칙(1)기타줄(1)연결 요소의 개수(1)섬의 개수(1)안전 영역(1)4889(1)10162(1)10610(1)슬라임 합치기(1)17615(1)볼 모으기(1)19539(1)1051(1)11501(1)1049(1)사과나무(1)숫자 정사각형(1)1743(1)숫자판 점프(1)2210(1)두 용액(1)9009(1)1052(1)연산자 끼워넣기(1)음식물 피하기(1)(1)치킨 배달(1)단어 뒤집기(1)10819(1)1182(1)차이를 최대로(1)Best Time to Buy and Sell Stock II(1)9375(1)후위 표기식(1)포도주 시식(1)9251(1)1138(1)스토어드(1)한 줄로 서기(1)Remove Nth Node From End of List(1)경쟁적 전염(1)1747(1)18405(1)소수&팰린드롬(1)Delete Node in a Linked List(1)Contains Duplicate(1)단어 뒤집기 2(1)17298(1)알파벳 개수(1)단어 길이 재기(1)Intersection of Two Arrays II(1)네 수(1)Plus One(1)Moves Zeros(1)First Unique Character in a String(1)11727(1)11052(1)GCD 합(1)16194(1)15990(1)쉬운 계단 수(1)2193(1)14002(1)forza horizon 5(1)포르자호라이즌(1)topics.sh(1)config.sh(1)console-producer.sh(1)console-consumer.sh(1)1699(1)1309(1)1, 2, 3 더하기 3(1)Valid Sudoku(1)15988(1)오르막 수(1)동물원(1)13398(1)연속합 2(1)사탕 게임(1)15656(1)N과 M(7)(1)N과 M(8)(1)NM과 K(1)(1)18290(1)나이트의 이동(1)13913(1)숨바꼭질 4(1)11060(1)점프 점프(1)2529(1)수 이어 쓰기 1(1)N과 M(1)(1)N과 M(2)(1)15651(1)N과 M(3)(1)N과 M(4)(1)N과 M(5)(1)15655(1)N과 M(6)(1)11048(1)이동하기(1)10972(1)다음 순열(1)이전 순열(1)10973(1)모든 순열(1)10974(1)13549(1)15989(1)숨바꼭질 3(1)1, 2, 3 더하기 4(1)15658(1)12869(1)뮤탈리스크(1)0-1bfs(1)10971(1)외판원 순회 2(1)연산자 끼워넣기(2)(1)19167(1)두 동전(1)배열 돌리기 1(1)14225(1)16929(1)에너지 모으기(1)동전 1(1)16198(1)Two Dots(1)2294(1)동전 2(1)2580(1)16928(1)codeforxe(1)D. Non-zero Segments(1)뱀과 사다리 게임(1)16948(1)데스 나이트(1)1083(1)1071(1)대결(1)1489(1)로봇 청소기(1)스마일게이트 스토브(1)kfq(1)컨베이어 벨트 위의 로봇(1)인구 이동(1)11660(1)read only volume(1)읽기 전용 볼륨(1)자바스크립트(1)15591(1)(1)two sum(1)숨바꼭질(1)1697(1)집합(1)컨테이너(1)17070(1)소수 찾기(1)aws(1)ubuntu(1)MooTube(1)to do(1)팰린드롬??(1)크롤링(1)이모티콘(1)연구실(1)프로젝트(1)알고스팟(1)Index(1)퇴사(1)배열(1)docker compose(1)(1)비트마스크(1)14501(1)hash(1)튜플(1)스도쿠(1)트라이(1)톱니바퀴(1)연속합(1)2xN타일링(1)1107(1)오픈채팅방(1)dw(1)탐욕(1)면접후기(1)N-Queen(1)베스트앨범(1)해시(1)주식가격(1)기능개발(1)위장(1)전화번호 목록(1)쇠막대기(1)프린터(1)더 맵게(1)가장 큰 수(1)문자열(1)zookeeper(1)운영체제(1)2309(1)데이터사이언스(1)메모(1)이미지(1)UDP(1)spark(1)cpu(1)1149(1)1158(1)10820(1)문자열 분석(1)rgb거리(1)11655(1)ROT13(1)1463(1)2579(1)1로 만들기(1)계단 오르기(1)11656(1)접미사 배열(1)
post-thumbnail

과제 이해

쿠버네티스를 사용하지 않고 ec2 만 사용하면 scale in/out을 수동으로 해야 함.쿠버네티스를 이용하여 자동으로 scale in/out 및 각종 장애 상황 대응namespace 생성하여 관리mysql에 실시간으로 데이터 넣으면서 데비지움, 스트림, 미러메이커 테

2022년 11월 3일
·
0개의 댓글
·
post-thumbnail

kafka stream application

앞에서 만들었던 1부터 9999까지 숫자를 넣는 걸 이용.홀수인 숫자만 다시 토픽으로 넣는 스트림 애플리케이션을 개발 예정추후에 데이터 정해지면 해당 데이터에 맞게 개발 예정

2022년 10월 25일
·
0개의 댓글
·
post-thumbnail

Kafka Producer Application

python 파일을 python 이미지 안에 넣어서 이미지를 직접 만들었다.→ copy 안됨해결 방법파일을 직접 copy해서 해결.pip install kafka를 하게되면 아래와 같은 오류가 생긴다.따라서 pip install kafka-python으로 해결간단하게

2022년 10월 25일
·
0개의 댓글
·

미러메이커2

의문 다른 카프카 클러스터끼리 같은 주키퍼 앙상블을 사용해도 될까? 테스트 해보니 두 클러스터 모두 같은 토픽이 만들어졌다. 이걸 보아 다른 주키퍼로 해야하나?

2022년 10월 24일
·
0개의 댓글
·
post-thumbnail

카프카 커넥터 생성

이렇게 rest 요청을 전송한다.curl -X GET podIP:8083/connectorscurl -X GET podIP:8083/connectors/connectorname/status정상적으로 받아진다.

2022년 10월 21일
·
0개의 댓글
·

쿠버네티스에 카프카 커넥트 and debezium 구축

debezium에서 만든 이미지를 사용했다. 환경 변수 설정하는 데서 시간을 오래 잡아먹었는데 처음에는 s CONNECT\_를 앞에 붙여야 하는 줄 알았는데 알고 보니 빼고 써야 했다.statefulset으로 구성을 했다.bootstrap_servers -> 여기에 자

2022년 10월 18일
·
0개의 댓글
·
post-thumbnail

kafka broker 종료 테스트

kafka의 broker pod를 중단하면 재기동이 되는데 기동 후에 토픽의 데이터가 남아있는지 확인.kubectl get podskubectl delete pods kafka-broker-1데이터가 그대로 남아있다!!!!

2022년 10월 15일
·
0개의 댓글
·

statefulset kafka 클러스터 구축

KAFKA_ADVERTISED_LISTENERS에서 막혀서 일주일을 고생했는데 쿠버네티스 자체에서 podIP를 받을 수 있다. 환경 변수를 삽입해주면 해결!!aws loadbalancer 서비스 이용 예정

2022년 10월 15일
·
0개의 댓글
·

statefulset zookeeper 클러스터 구축

이건 쿠버네티스 공식문서에서 친절하게 설명해준다.링크replicas에서 설정한 수 만큼 생성현재 영구 볼륨이 노드에 존재하기 때문에 노드가 다운되면 볼륨 유지가 안된다.추후에 동적 프로비저닝 사용 예정

2022년 10월 15일
·
0개의 댓글
·

ex

https://tweety1121.tistory.com/entry/kubernetes-kafka-%EC%97%B0%EB%8F%99-with-springboot?category=1018271

2022년 10월 14일
·
0개의 댓글
·

zookeeper - 권한

zookeeper.yaml에 이렇게 설정하니 mkdir: cannot create directory '/var/lib/zookeeper/data': Permission deniedchown: cannot access '/var/lib/zookeeper/data': No

2022년 10월 11일
·
0개의 댓글
·

statefulset을 위한 pv

문제는 직접 만들어야 한다는 점... 자동 생성 방법을 찾아야겠다.

2022년 10월 11일
·
0개의 댓글
·

앞으로의 계획

ec2 인스턴스로 마스터 노드, 워커 노드 설정주키퍼 앙상블 쿠버네티스로 실행카프카 쿠버네티스로 실행데비지움 쿠버네티스로 실행미러메이커2를 이용하여 프로듀서, 컨슈머 클러스터 분리내가 이해한거로는 프로듀서가 클러스터1의 토픽에 데이터를 보내면 미러메이커2를 이용하여 컨

2022년 10월 9일
·
0개의 댓글
·
post-thumbnail

ubuntu에 쿠버네티스 설치 & 마스터, 워커 노드 설정

설치 초반 따라하기 -> 삭제 -> 노드 구성 -> 만약 container 실행중이 아니라고 하면 재실행 링크

2022년 10월 8일
·
0개의 댓글
·

모르는 용어들

스테이트풀셋애플리케이션의 상태를 저장하고 관리하는 데 사용되는 쿠버네티스 객체.기존의 포드를 삭제하고 생성할 때 상태가 유지되지 않는다.스테이트풀셋으로 생성되는 포드는 영구 식별자를 가지고 상태를 유지시킬 수 있다.헤드리스 서비스쿠버네티스 서비스 생성 시 .spec.c

2022년 10월 8일
·
0개의 댓글
·

debezium 이것 저것

여러 블로그를 참고해서 했습니다.번역 -> https://knight76.tistory.com/entry/debezium기술 -> https://velog.io/@ehdrms2034/Kafka-%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%

2022년 10월 5일
·
0개의 댓글
·
post-thumbnail

debezium 설치?하기

저는 mysql을 이용했기 때문에 여기wget https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/1.9.6.Final/debezium-connector-mysql-1.9.6.Final-pl

2022년 10월 5일
·
0개의 댓글
·
post-thumbnail

ec2 프리티어 카프카 클러스터 구축

추후에 mysql도 연결해야해서 3306 열었습니다.sudo apt-get updatesudo apt-get install openjdk-11-jdkcd ~wget https://mirror.navercorp.com/apache/zookeeper/zookeep

2022년 10월 5일
·
0개의 댓글
·

rds bin log

해결 방법 찾는 중...rds mysql을 사용하는 데 debezium을 사용하려면 bin_log가 켜져 있어야 한다. 하지만 aws에서 막았음...

2022년 10월 4일
·
0개의 댓글
·
post-thumbnail

AWS

aws 리전은 더 높은 가용성, 확장성, 내결함성을 위해서 다중의 가용영역으로 구성된다.어플리케이션과 데이터는 다른 가용영역 간에 실시간 복제가 되며 일관성을 가진다.완전히 격리된 하나 이상의 데이터 센터충분한 물리적 거리자가 전력 인프라수십반 대 규모의 서버완전히 격

2022년 9월 29일
·
0개의 댓글
·