DB의 마이그레이션을 형상관리할 수 있도록 도와주는 java의 라이브러리gradle 설정application.ymlentity/Region.javasql 파일 위치파일명 규칙init sql 스크립트 작성Spring boot 실행 >> 테이블 확인

이번에 대용량 csv파일을 조회해야 할 일이 생겼다. pandas로 하기에 용량이 매우 컸다. 단기 프로젝트로 간단하게 해결해 볼 계획이다. 방식은 spark thrift를 띄워 hive에 external table을 만들고 spark에서 제공하는 ansi sql을

Airflow를 세팅하고 CPU 점유율이 유독 높은 문제가 발생 하였다.이유는 다음과 같다.airflow.cfg를 보면 아래 3개의 항목이 있다.scheduler_heartbeat_sec이 녀석은 스케줄러가 새로운 작업을 위해 dag을 실행하는 빈도를 의미한다. 기본은

자바의 데이터 타입은 크게 Primitive type과 Reference type으로 나뉜다. 정수, 실수, 문자, 논리 리터럴 등의 실제 데이터를 저장하는 타입반드시 사용하기전에 선언 되어야 한다.int, long, double, float, boolean, byte

java.util.Formatter 클래스는 Java에서 문자열을 서식화하는데 사용되는 클래스입니다. 이 클래스는 C 언어의 printf 함수와 유사한 형식 지정 기능을 제공합니다. Formatter 클래스를 사용하여 다양한 유형의 데이터를 서식화하고 출력할 수 있습

VS Code의 확장인 "Rest Client"는 HTTP 요청을 테스트하고 디버깅하는 데 사용되는 강력한 도구입니다. 이 확장을 사용하면 VS Code 내에서 API를 호출하고 응답을 확인할 수 있습니다.외부 api를 많이 사용하는 회사에서 팀 내부적으로 공유하기도

의존성 주입(Dependency Injection)을 포함하는 디자인 패턴 중 하나입니다.일반적으로 객체 간의 의존성을 해결하는 방법 중 하나는 객체가 직접 필요한 객체를 생성하거나 관리하는 것입니다. 그러나 Spring IoC 컨테이너를 사용하면 이러한 객체 생성 및

Spring에서 Bean은 Spring IoC 컨테이너에 의해 생성, 관리되는 객체를 말합니다. Bean은 일반적으로 Spring의 ApplicationContext를 통해 접근할 수 있습니다.Bean은 Spring이 IoC 컨테이너를 초기화하고 설정 파일을 로드할 때

테이블 스페이스 생성 CREATE TABLESPACE [테이블명] DATAFILE '/tablespaces/db.dbf' SIZE 10M autoextend ON NEXT 10M maxsize 100M extent management LOCAL uniform SIZE

jvm이란 무엇인가. CPU가 JAVA를 인식하여 실행 할 수 있도록 하는 가상컴퓨터 이다. JAVA의 원시 코느는 CPU가 인식하지 못하므로 기계어로 컴파일을 해줘야 한다. 이때 JAVA Compiler가 .java 파일을 .class로 변환한다. 컴파일 하는 방법

계정생성 권한 생성 테이블 생성 권한 부여하기 GRANT CREATE SESSION TO cos; GRANT CREATE TABLESPACE TO cos; GRANT CREATE TABLE TO cos; 테이블 변경 권한 부여하기. GRANT select, in

외부 테이블(External Table)은 이미 HDFS에 존재하는 원본 데이터를 기반으로 테이블을 만들기 때문에 스키마만 정해주면 됩니다. 그래서 파일와 스키마를 따로 관리하기 좋습니다. 파일이 HDFS 상에 이미 있을 때 외부 테이블을 사용하고, 테이블이 삭제 되더

S3에 적재된 csv, json, parquet 파일의 데이터를 스캔하여External table을 생성, ANSI Query를 사용하여데이터를 조회 할 수 있도록 해주는 서비스다.엔진은 prestoDB를 사용한다.s3를 활용한 Data lake에서 필요한 데이터만 가

docker-compose.yml 작성시작 명령어

docker-compose.yml 작성docker compose 실행

https://soyoung-new-challenge.tistory.com/72

decimal은 정확한 수치를 저장하므로 소수점이 들어간 실수는 decimal을 사용하는 것이 좋다. 반면 FLOAT 및 REAL 테이터 형식은 근사 데이터 형식이어서 정확한 값을 저장하지 않고 가장 가까운 근사값을 저장하기 때문이다.

인덱스 생성 nori를 세팅하여 인덱스 생성 인덱스 삭제 create read Full Text Query 기간 검색 update delete

mac에 docker로 oracle11g 설치 중 ORA-12547에러를 만났다.Apple silicorn에서 아키텍처가 바껴 oracle을 띄울 수 없다고 한다.colima를 활용해 oracle이미지를 x86/64환경으로 띄우면 가능하다.colima 설치colima

pull imagecontainer 실행elasticsearch는 127.0.0.1에 바인딩 되어 있어서 외부 접근 필요 시아래의 세팅을 필요로 함형태소 분석기 nori plugin인증설정pull imagecontainer 실행pull imagecontainer 실행h