이 글에서는 Kafka connect 의 config 를 설정할 때 공통된 부분 (db설정) 이나 따로 파일로 관리하고 싶은 부분들을 별도의 파일로 만들어 config에 주입시키는 것을 정리하고자 한다.외부 파일로 db 설정을 관리한다고 가정하고 예시를 작성한다.1\.

EC2 설정하기 Launch Instances > 설정 완료 접속하기 위하여 Putty 설치 및 설정 puttygen을 통해 Launch Instances를 할 때 만들어놓은 ppm 을 ppk 로 변경시키고 putty로 접속한다. MYSQL 8.0 부터 root 비밀

MyBatisCursorItemReader + JdbcBatchItemWriter로 성능개선

오늘은 프로젝트를 진행하며 쿼리의 성능을 조금이나마 개선하게 되면서 알게 된 row_number() 함수에 대하여 설명하고자 한다.먼저 본래 나의 쿼리는 두 개의 테이블을 모두 FULL SCAN 하며 MAX(Reg_Date) 를 사용해 가장 최신에 등록된 데이터를 뽑아

이번 글에는 스터디를 위해서 Spring Batch Sample Code 를 혼자서 처음부터 만들다가 겪게 된 문제들과 해결방법에 대하여 정리하고자 한다.버전이 높아짐으로 인해 생긴 문제들로 인한 포기SpringBoot 3.X 때부터는 SpringBatch 5.x 를

오늘은 환경변수 , VM 옵션 , 프로그램 인수 등에 대하여 공부한 것을 정리하고자 한다. 하기와 같이 Spring에서는 환경변수 , vm옵션 , 프로그램 인수를 실행 시에 지정할 수 있다. 환경변수 환경변수는 세미콜론으로 구분하며 Environment 혹은 System.getenv를 통해서 값을 꺼내올 수 있다. 만약 환경변수로 'ENV_VAR=en...

오늘은 그동안 스터디한 것에 대한 정리를 해보고자 한다. 테스트 커버리지 테스트 커버리지(test coverage)는 코드 커버리지(code coverage)라고도 하며 코드가 얼마만큼 테스트되고 있는지를 나타내는 소프트웨어의 품질 지표이다. 즉, 테스트를 한 부분과

의존성 다루기 1) IoC (Inversion of Control) : 제어의 역전 IoC 란 코드의 흐름을 제어하는 주체가 바뀌는 것이다. 코드의 흐름을 제어한다는 것은 여러 행위(객체를 생성하는 것, 객체의 생명주기를 관리하는 것, 메소드를 수행 등) 를 포함한

ConfigurationProperties 자바 record

이번 글에서는 GIT에서 자주 사용되는 언어인 Merge , Rebase 의 개념과 이번에 프로젝트를 하면서 새로이 배운 sqush에 대하여 설명하고자 한다.Merge 라는 것은 Branch 를 통합한다는 것이다.예를 들어 , develop이라는 브랜치가 있다고 생각해

이번 글에서는 스터디를 하면서 배운 것들에 대한 정리를 하고자 한다.TestContainer 는 docker를 활용하여 통합테스트를 도와주는 Java Library이다. (1) Java로 Container를 동작시킬 수 있다. (2) Dockerfile, docker

이번 글에는 프로젝트를 진행하면서 새로이 개념을 알았던 bashrc 그리고 dmesg 명령어에 대해 간략하게 정리해보고자 한다.(1) /etc/profile(2) /etc/bashrc(3) ~/.bash_profile(4) ~/.bashrc(5) ~/.bash_logo

이번에 스터디를 새롭게 들어가게 되면서 PostgreSQL를 사용한다고 하여서 먼저 정리를 해보며 공부하고자 한다.정의PostgreSQL은 오픈 소스 객체-관계형 데이터베이스 시스템(ORDBMS)이다.우선, 우리가 흔히 알고 있는 오픈소스 RDBMS의 또 다른 하나인

오늘은 Kafka Kraft에 대하여 이전 글에서 작성하였으나 formatting storage 내용이 빠졌기에 여기에 기록해두고 기억하고자 한다. 또한 리눅스 명령어 중에 유용한 awk 에 대하여 정리하고자 한다.kafka 서버를 시작하기 전에 kafka 클러스터 I

오늘은 서버사이드 측에 요청한 방화벽이 뚫려있는 지 확인하는 것에 대한 기록을 하고자 한다.방화벽 관련 요청을 하기 위해서는출발지 ip , 포트 , 도착지 ip , 포트 정보를 주어야 한다.확인하는 방법은 내가 찾아본 바로는 4가지가 있다ping IP가장 쉬운 방법이지

업무 및 새로 배우고 적용하는 것들에 대한 기록업무 중 발생했던 NULL로 인한 대참사에 대한 기록을 하고 이를 꼭 기억하여 다음에는 겪지 않고자 한다.물론 실제 쿼리는 훨씬 길지만 예를 들자면 , 다음과 같은 쿼리가 있다.이는 Left Outer Join으로 B의 값

오늘은 업무를 진행하며 어려움을 겪고 또 해결한 일들에 대해 자세히 기록하고자 한다.처음에는 다중 FOR 문을 몰랐어서 한개씩 돌렸었는데 시간도 너무 많이 걸리고 너무 많은 delete Query가 발생하여 보기에도 좋지 않아서 튜닝이 필요하다!라고 생각하게 되어서 찾

Kafka Connector 구성하기 처음에 구성한 것은 Logstash 를 통해 테이블 내 데이터의 변경을 추적(tracking_column을 이용해서)하여 변경 사항을 테이블에 저장하는 것이였다. Logstash를 이용해 변경 사항 데이터들을 뽑아내는 것 까지는

우리가 구현해야 할 것은 데이터 삽입 중 에러가 났을 때 해당 데이터만 제외하고 삽입이 되어야하는 것이였다.그래서 배치 구현 시 1\. Tasklet으로 한방에 Select 해와서 Transaction을 분리해서 처리하는 방법2\. Chunk를 이용해 페이징해서 Chu

참고용 링크 : https://cjw-awdsd.tistory.com/53참고용 링크 : https://cornswrold.tistory.com/568