태그 목록
전체보기 (101)kafka(16)spark(12)git(10)hadoop(7)docker(5)Java(4)HBase(3)MariaDB(3)JPA(2)revert(2)mongodb(2)zookeeper(2)producer(2)Spark Structured Streaming(2)피보나치 수열(2)mysql(2)consumer(2)reset(2)rdd(2)비네의 공식(1)report(1)checkout(1)broadcast variable(1)fast-forward(1)kafka consumer(1)merge(1)rebase(1)iceberg(1)linux(1)git status(1)git revert(1)Key-Value Store(1)게시-구독 메시징 모델(1)Amazon DynamoDB(1)Cassandra(1)log4shell(1)fibonacci(1)피보나치(1)lock(1)k8s(1)TCP SYN Cookies(1)PORT(1)spark shuffling(1)JOIN(1)python(1)Spark Streaming(1)HDFS(1)MachineLearning(1)network(1)branch(1)kafka broker(1)partition(1)git rm(1)work tree(1)프로세스 시간(1)INDIRECT(1)hive(1)git checkout(1)git clean(1)NIC(1)grep(1)cherry-pick(1)크로스 테이블(1)이슈 트래킹(1)context(1)git merge(1)broker(1)spark partition(1)to_timestamp(1)Sort(1)이벤트 시간(1)grouping(1)apache spark(1)RandomAccessFile(1)Erasure Coding(1)추천 모델(1)prometheus(1)소수(1)git tag(1)burrow(1)Log4j(1)머신러닝(1)consumer lag(1)git reset(1)flatten array(1)flatten(1)MapReduce(1)kubernetes(1)bigtable(1)sqoop(1)시계열 데이터(1)safemode(1)blame(1)dynamodb(1)db(1)Binet's formula(1)TO_DATE(1)Grafana(1)git Index(1)ConfigParser(1)excel(1)영속성 컨텍스트(1)replication factor(1)primary key(1)etl(1)시계열 인덱스(1)more(1)Spring(1)stash(1)accumulator(1)배열 평탄화(1)kvs(1)git add(1)dockerfile(1)tag(1)exec(1)트랜잭션 테이블(1)Log4J2(1)크로스 집계(1)

[Spark Structured Streaming] Kafka read, write

Spark Structured Streaming + Kafka

2022년 6월 23일
·
0개의 댓글

[Spark Structured Streaming] 는 1개의 Streaming Aggregation만 지원한다.

Multiple streaming aggregations are not supported with streaming DataFrames

2022년 6월 23일
·
0개의 댓글

[Docker] Dockerfile 을 사용한 구성 관리

Dockerfile 명령어 등

2022년 6월 16일
·
0개의 댓글

[Docker] 데이터 연속성

Mysql DB 컨테이너 등 DB 혹은 스토리지 컨테이너의 데이터가 사라지는 문제가 있음docker run -d --name mydb --env=MYSQL_ROOT_PASSWORD=mypass --env=MYSQL_USER=myuser1 --env=MYSQL_PASSW

2022년 6월 16일
·
0개의 댓글

[JPA] 스키마 생성, 객체 - 테이블 매핑

데이터베이스 스키마 자동 생성 앱 생성시 DB 테이블을 생성해주는 기능도 제공함 (개발 단계 등에서 유용) 데이터베이스 방언에 맞춘 DDL 을 생성 (운영서버에서 사용하지 말고 개발 환경에서 사용 후 다듬기) persistence.xml 파일에서 자동 생성 옵션을 주면 생성됨 create 주면 생성되는 식 create : 생성 (※ ...

2022년 6월 16일
·
0개의 댓글

[JPA] 영속성 컨텍스트

1차 캐시 동일성(identity) 보장 트랜잭션을 지원하는 쓰기 지연 (transactional write-behind) 변경 감지(Dirty Checking) 지연 로딩(Lazy Loading)

2022년 6월 16일
·
0개의 댓글

[MongoDB] MongoDB Java Driver upsert

MongoDB driver 3.4 Docs(https://mongodb.github.io/mongo-java-driver/3.4/javadoc/com/mongodb/DBCollection.html\* MongoDB driver 4.6 Docs

2022년 6월 16일
·
0개의 댓글

[Git] Filename too long 이슈 (Windows)

윈도우 API의 파일 경로 길이가 260자 제한을 가지기 때문에 발생하는 이슈관리자 권한으로 아래와 같이 설정하여 해결

2022년 6월 3일
·
0개의 댓글

[Git] commit message 수정

local 의 가장 최근의 commit 수정 local의 commit message 수정 n 자리에 숫자로 몇번째 커밋까지 확인할 것인지 지정 reference Github Docs

2022년 6월 2일
·
0개의 댓글

[Spark] 날짜 다루기 (date, timestamp)

to_date, to_timestamp, 포매팅, 날짜 범위 지정

2022년 5월 23일
·
0개의 댓글

[빅데이터] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어

분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어 개요 및 오픈소스

2022년 5월 21일
·
0개의 댓글

[JAVA] Process exec 실행시 Stream 처리 주의 (hang 이슈)

Java 에서 Process exec 실행시, stream 처리 미흡시 hang이 발생할 수 있다.

2022년 5월 16일
·
0개의 댓글

[Excel] 타 시트의 값을 참조하여 가져오기

타 시트의 값은 '시트명'! 시트명을 특정 값을 참조하도록 =IFERROR(COUNTIF(INDIRECT("'"&C21&"'"&"!H$5:H$1048576"),"O"),"-")

2022년 5월 10일
·
0개의 댓글

[Hadoop] Hadoop 서비스 포트 정리

Hadoop 서비스 포트 정리

2022년 5월 10일
·
0개의 댓글

[Spark] RDB 데이터 읽기/쓰기

https://stackoverflow.com/questions/57509625/how-to-create-table-in-mysql-database-using-apache-spark 검증 필요.

2022년 5월 10일
·
0개의 댓글

[빅데이터] 시계열 데이터 최적화

이벤트 시간 (event time)메시지가 생성된 시간프로세스 시간 (process time)서버가 처리하는 시간분산 스토리지에 데이터를 넣을 때엔, 프로세스 시간(=서버 처리 시간)을 사용하는 것이 일반적풀 스캔 (full scan) : 다수의 파일을 모두 검색하는

2022년 5월 4일
·
0개의 댓글

[알고리즘] 소수 판별하기

O(1) 으로 가지치기, 검증 범위 줄이기(시간복잡도)

2022년 5월 3일
·
0개의 댓글

[Spark] MariaDB Connector syntax error 해결

※ Mysql Connector License 주의 https://stackoverflow.com/q/41518078https://mariadb.com/kb/en/sql-mode/

2022년 5월 2일
·
0개의 댓글

[Spark] spark-shell 사용시 jar 의존성 추가

spark-shell 을 통해 간단한 테스트 진행시, external jar 파일들을 의존성에 추가한다.

2022년 4월 20일
·
0개의 댓글

[Linux] grep 으로 빈 라인 제거

grep 으로 공백인 라인 제거

2022년 4월 20일
·
0개의 댓글