# batch

shmaxlee

ECS, Lambda, Batch, Lightsail

kms8571

8월부터 짧은 내용의 학습내용, 업무이슈 등을 정리하고 공유하는 스터디를 하기로 했다.이 스터디를 진행하는동안 이전부터 제대로 깊이 알지 못했지만 사용했던 프레임워크나 문법 그리고 제대로 짚고 넘어가지 못한 이슈들에 대해서 다루려고 한다.먼저 첫 주제로는 입사 후로부터

jsin2475

HTTP(HyperText Transfer Protocol) : 클라이언트와 서버가 자원을 주고 받을 때 쓰는 통신 규약단점 : 텍스트 교환이므로, 누군가 네트워크에서 신호를 가로채면 내용이 노출되는 보안 이슈가 존재HTTPS(HyperText Transfer Prot

yeonheedong

입사 테스트 시험 문제로 batch size가 나왔다. 딥페이크로 졸업 프로젝트 할 때랑, 작년에 실험 계획서+실험 준비할 때가 생각났다. 얕고 넓은 내 지식... 자꾸 헷갈려-\_- 잘 정리해주신 분 꺼 보고 기록해두기.epoch : 전체 트레이닝셋이 신경망을 통과한

backtony

ItemProcessor 그림7 데이터를 출력하기 전에 데이터를 가공 및 필터링 역할을 하는 인터페이스 입니다. ItemReader 및 ItemWriter와 분리되어 비즈니스 로직을 구현할 수 있습니다. ItemReader로부터 받은 아이템을 특정 타입으로 변환해서

backtony

자동으로 ApplicationContext에 테스트에 필요한 여러 유틸 Bean을 등록해주는 애노테이션입니다. JobLauncherTestUtilslaunchJob(), launchStep() 과 같은 스프링 배치 테스트에 필요한 유틸성 메서드 지원JobReposit

backtony

배치 흐름 중에 Job, Step, Chunk 단계의 실행 전후에 발생하는 이벤트를 받아 용도에 맞게 활용할 수 있도록 제공하는 인터셉터 개념의 클래스입니다.각 단계별로 로그기록을 남기거나 소요된 시간을 계산하거나 실행상태 정보들을 참조 및 조회할 수 있습니다. Jo

backtony

그림1 프로세스 내 특정 작업을 처리하는 스레드가 하나일 경우 단일 스레드, 여러 개일 경우 멀티 스레드라고 합니다.작업 처리에 있어서 단일 스레드와 멀티 스레드의 선택 기준은 어떤 방식이 자원을 효율적으로 사용하고 성능 처리에 유리한가 하는 점입니다.일반적으로 복잡

backtony

스프링 배치는 특정 조건이 충족될 때까지 Job 또는 Step을 반복하도록 배치 애플리케이션을 구성할 수 있습니다. 스프링 배치에서는 Step과 Chunk의 반복을 RepeatOperation을 사용해 처리하고 있습니다. 기본 구현체로 RepeatTemplate을

backtony

그림6 Chunk 단위로 데이터를 받아 일괄 출력 작업을 위한 인터페이스 입니다.플랫 파일 - csv, txtXML, JsonoDatabaseMessage Queuing 서비스Mail ServiceCustom reader다수의 구현체들이 itemReader와 같은 맥

backtony

그림1 다양한 입력으로부터 데이터를 읽어서 제공하는 인터페이스 입니다.플랫 파일 - csv, txtXML, JsonDatabaseMessage Queuing 서비스Custom reader다수의 구현체들이 ItemReader와 ItemStream 인터페이스를 동시에 구

backtony

여러 개의 아이템을 묶은 하나의 덩어리 를 의미합니다.한 번에 하나씩 아이템을 입력받아 Chunk 단위의 덩어리로 만든 후 Chunk 단위로 트랜잭션을 처리합니다.Chunk 단위로 Commit과 Rollback일반적으로 대용량 데이터를 한 번에 처리하는 것이 아닌 청

backtony

Step을 특정한 상태에 따라 흐름을 전환하도록 구성할 수 있으며 FlowJobBuilder에 의해 생성됩니다.Step이 실패하더라도 Job은 실패로 끝나지 않도록 해야 하는 경우Step이 성공했을 때 다음에 실행해야 할 Step을 구분해야할 경우특정 Step은 전혀

backtony

StepBuilderFactoryStepBuilder를 생성하는 팩토리 클래스로서 get 메서드를 제공합니다.StepBuilderFactory.get("stepName")stepName으로 Step을 생성하도록 StepBuilder에게 넘깁니다.StepBuilderSt

backtony

Spring Batch 작업을 시작하는 ApplicationRunner로서 BatchAutoConfiguration에서 생성됩니다.스프링 부트에서 제공하는 ApplicationRunner의 구현체로 애플리케이션이 정상적으로 구동되자 마자 실행됩니다.기본적으로 빈으로 등

backtony

배치 계층 구조에서 가장 상위에 있는 개념으로서 하나의 배치작업 자체 를 의미합니다.Job Configuration을 통해 생성되는 객체 단위로서 배치 작업을 어떻게 구성하고 실행할 것인지 전체적으로 설정하고 명세해 놓은 객체 입니다.배치 Job을 구성하기 위한 최상위

backtony

배치(Batch)는 일괄처리란 뜻을 갖고 있습니다.쇼핑몰에서 매일 전날의 매출 데이터를 집계해야 한다고 가정해보겠습니다.매출 데이터가 대용량이라면 하루 매출 데이터를 읽고, 가공하고, 저장한다면 해당 서버는 순식간에 CPU, I/O 등의 자원을 다 써버려서 다른 작업을

su12ng

우선 스프링 배치 라는 용어를 실무를 접하기전에 들어본적도 사용해본적도 없다.그러나 프로젝트에서 내가 맡은 업무에 배치라는 생소한 용어가 등장하기 시작했고내가 맡은 업무를 잘 마무리 하기 위해선 배치에 대해서 알아야 할 것 같다.먼저 Spring Batch..Sprin

bambi

6월 신규 피쳐 개발 전에 시간이 조금 있어서 백로그의 일감을 하나 처리하기로 맘 먹었다. 재밌어보이는 것도, 어려워 보이는 일감도 많아 고르르는 재미(?) 가 있었다. 그 중에서 내가 고른 일감은 두근두근 코인 시세 배치 -> 스트림 전환!

minnseong

단발성으로 대량의 데이터를 처리하는 어플리케이션대용량 데이터 : 대용량의 데이터를 가져오거나, 전달하거나, 계산하는 등의 처리가 가능해야 함.자동화 : 심각화 문제 해결을 제외하고는 사용자의 개입 없이 실행되어야 함.견고성 : 배치 어플리케이션은 잘못된 데이터를 충돌/