# partition
Kafka에서 partition 수와 메시지 순서
메시지를 순서대로 consume하는 것이 보장됨.topic에 대해 모든 데이터의 순서를 보장받고 싶다면, topic 생성 시 partition의 수를 1로 지정해야 함.consumer는 1 3 2 순으로 메시지를 가져왔음.consumer는 각각의 partition에서
Chatper3. Kafka 기본 개념
broker, replication, controller, leader, follower, cordinator, topic, partition, record
DB Partitioning Methods
Partitioning methods are used to divide a dataset into smaller subsets, usually in the context of database management, data storage, and distributed c
[Kafka] Consumer Group Rebalancing
컨슈머그룹에 컨슈머가 추가되거나 삭제되었을 때 카프카 브로커가 어떻게 동작하는지 알아보자.다음과 같은 상황을 가정한다컨슈머 그룹 이름 : schedule-log-group-test토픽 이름 : JobLogDev파티션 개수 : 3개컨슈머 개수 : 3개카프카 컨슈머의 특성
[Cosmos] 파티션정리 및 Backup
참고 : https://medibloc.gitbook.io/panacea-core/for-validators/join-mainnet-testnet참고 : https://docs.tendermint.com/v0.34/tendermint-core/stat
[SQL] - SQL function
SQLD를 준비하며 공부했던 내용으로, 2020 이기적 SQL 개발자(Developer) 이론서 + 기출문제를 참고했다.조인(Join)(1) EQUI(등가)조인(교집합)조인은 여러 개의 릴레이션을 사용해 새로운 릴레이션을 만드는 과정조인의 가장 기본은 교집합을 만드는
[SQL] Query Tuning - Partition
파티션 - 구획 분할MySQL 서버 입장에서는 데이터를 별도의 테이블로 분리해서 저장하지만 사용자 입장에서는 하나의 테이블로 읽기와 쓰기를 할 수 있게 해주는 기능을 의미큰 table이나 index를, 관리하기 쉬운 partition이라는 작은 단위로 물리적으로 분할하
Apache Hive - partition, bucket
Hadoop echosystem의 일부로, Apache Hadoop위에서 SQL을 사용하여 분산된 스토리지에 저장된 데이터에 대해 쿼리를 할 수 있는 데이터 웨어하우스 시스템이다. Hive는 hadoop 환경에서 복잡한 map-reduce 코드 대신에 SQL과 유사한
[MYSQL] MYSQL Partition - 테이블 분할
파티션은 크기가 큰 테이블을 여러 개로 분할하는 기능이다. 크기가 큰 테이블에 쿼리를 수행할 때, 인덱스를 사용하더라도 테이블의 크기가 매우 크다면 MYSQL에 부하가 걸릴것이다. 이런 문제를 줄이고 성능 향상을 위해 사용하는 기능이다.인덱스는 SELECT 성능을
[Windows] 떨어져 있는 파티션 합치기
중간에 다르 파티션이 있다면 윈도우 기본 기능에서 파티션을 합칠 수 없습니다. 프로그램을 이용하여 가능하게 하는 방법을 알아봅니다.
CREATE TABLE PARTITION BY
PARTITION을 테이블 생성시 사용할 경우 특정 컬럼의 특정 값에 대해서만 불러온다.생성하고자 하는 테이블의 용량이 클 경우 PARTITION을 활용하여 용량을 줄일 수 있다.WHERE 절과는 다르게 사용된다.T1 이라는 빈 테이블을 생성한다.이때 밑에 PARTIT
crontab을 이용한 일단위 로그파일 처리
1.쉘 스크립트 작성DATE=date +%Y%m%d\_%H%M%SFROM_PATH=/var/lib/jenkins/workspace/d-api/build/libsTO_PATH=/root/logsPREV_DATE=1cp -rf $FROMPATH/nohup.out $TO_P
[스터디] 스파크 완벽 가이드 2일차
데이터를 처리하는 경우에는 단일 컴퓨터로 처리하기에 어려움이 있다. 그러기에 여러 컴퓨터의 자원을 모아서 하나의 컴퓨터처럼 작동하도록 하는 컴퓨터 클러스터를 구성한다. 이것만으로도 충분하지 않아 작업을 조율할 프레임워크가 필요한데 스파크가 이러한 역할을 수행한다.
[Kafka] topic partition에 대해서.
partition 은 병렬 처리의 단위 topic 내에선 순서가 보장되지 않지만 partition 내에선 순서 보장 새로운 메시지는 partition 의 끝부분에 추가된다. -> 순서 보장이 필요한 데이터를 같은 partition에 할당되도록 조정 parti
[Database] 데이터 모델링이란
유동오의 핵심 데이터 모델링 책을 한 챕터씩 읽고, 요약하는 글이다.\-> 많은 프로젝트에서 ER 모델을 통해 데이터 모델링을 수행하며, 관계형 모델과 관계형 데이터베이스를 통해 데이터를 저장하고 관리한다.
아파치 카프카(Apache Kafka)의 컨슈머(Consumer) 파티션(partition)과 메시지 순서[10]
이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다.일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 토픽에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다.출력을 해본 결과 a부터 순
아파치 카프카(Apache Kafka)의 데이터 모델 [5]
카프카가 고성능, 고가용성 메시징 애플리케이션으로 발전한 데는 토픽과 파티션이라는 데이터 모델의 역할이 있기 때문입니다.토픽은 메시지를 받을 수 있도록 논리적으로 묶은 개념이고, 파티션은 토픽을 구성하는 데이터 저장소로서 수평 확장이 가능한 단위입니다. 토픽은 메시지를
[MySQL] Index/ Partition
▶ 정의Index는 RDBMS에서 검색 속도를 높이기 위한 자료구조이다.모든 데이터를 검색하면 시간이 오래 걸리기 때문에 데이터와 데이터의 위치를 포함한 자료구조를 생성한다.▶ 구조논리적/물리적으로 테이블과 독립적이다.Index는 KEY 컬럼과 ROWID 컬럼 두개로