# sharding

codingchild

Huggingface Transformers를 사용하여 모델을 저장하면 bin 파일로 모델이 저장된다.하지만 최근 많은 모델들이 Safetensor를 사용하여 모델을 저장하고 있는데, 특히 모델의 weight를 sharding하여 저장한다.방법은 간단한데, safete

ch200203

1) 샤딩과 파티셔닝

dev-msj

서비스의 형태가 다양해지고 커지면서 최소 천만건 이상의 데이터를 처리하고 저장하는 VLDB(Very Large Database) 형태가 되었다. 이로 인해 응답/처리 속도의 저하, 장애 증가, 비용 증가 등의 이슈들이 발생하게 됐다. 이에 대한 해결 방안으로 대표적으로

jayl2sw

파티셔닝(Partitioning)은 대용량의 테이블이나 인덱스를 작은 논리적 단위인 파티션으로 나누는 것을 의미한다. 대용량 DB의 경우 데이터가 증가됨에 따라 성능 저하가 발생하므로 테이블을 작은 단위로 나누어 분산 저장함으로써 성능 저하를 방지할 수 있다. 이 때,

solsol38

구조 1. Primary 클라이언트에서 DB로 읽기 및 쓰기 작업을 한다. 2. Secondary 프라이머리로부터 데이터를 동기화 한다. 3. Arbiter 데이터를 동기화하지는 않으며 레플리카 셋의 복구를 돕는 역할을 한다. 동작 과정 Slave → Mast

y005

Sharding 서비스가 성장하게 되면 자연스럽게 많은 트래픽이 데이터베이스에 몰리면서 부하가 커지고 데이터베이스에 저장하는 양이 늘어나게 되면서 데이터베이스의 성능 향상을 위해 데이터를 분산저장할 수 있는 데이터베이스 샤딩을 하게 된다. 샤딩은 관리 측면에서 복잡하고

jaehyeong

지난 글에서 RedisAI가 무엇인지 그리고 RedisAI와 FastAPI를 활용한 간단한 추론 서버를 구성해보았습니다. 하지만 운영환경에서 언제 늘어날지 모를(정말 언제 늘어날지 모른다고 한다..🥹) 트래픽을 감당하기 위해서는 확장성을 고려한 스케일 인/아웃이 가능

silver_star

데이터베이스 내 데이터에 접근하도록 도와주는 시스템DB의 상태를 변화 시키기 위해 수행하는 작업의 단위한번에 모두 처리되거나 or 처리되지 않아야 하는 작업들의 모임ex) 은행 시스템에서 계좌이체 트랜잭션의 작업이 부분적으로 일부만 실행되거나, 중단되지 않는 것을 보장

formin

데이터베이스 샤딩 파티셔닝과 달리 별도의 샤드를 구축, 샤딩 플랫폼(스파이더)를 통해 구현쓰기 성능이 지속적으로 향상됨Spider 기반 샤딩 구축수직(Verical) 샤딩샤드를 만들어 저장할 때 구분 기준을 연령/성별과 같은 기준으로 나눠 구성테이블 단위로 분할수평(H

1yangsh

데이터베이스를 여러개로 나눈다

yangsijun528

파티셔닝과 샤딩의 개념에 대해서 알아보았다.

cham

부하 분산을 위해 Application/DB Level에서 다수의 데이터베이스에 데이터를 분산 저장하는 기법데이터베이스 분야에서 성능, 확장성 및 I/O 대역폭을 개선하는데 사용하는 분산처리 기법데이터의 폭발적인 증가로 수많은 빅데이터를 처리하기 위해서는 데이터를 모두

milkcoke

DynamoDB에 수천, 수만개 데이터를 동시입력하면 어떻게 될까? 쓰로틀링 현상, 핫 파티션키 이슈, 그리고 해결방안까지 알아보자.

makeitcloud

Shard의 사전적 의미는 조각, 파편으로 Database Sharding이란 데이터베이스나 웹 검색 엔진의 데이터의 수평 분할이다. 개개의 파티션은 샤드(shard) 또는 데이터베이스 샤드(database shard)로 부른다. 각 샤드는 개개의 데이터베이스 서버 인

moongq

몽고DB shard 문서 번역 출처: https://docs.mongodb.com/manual/sharding/ Sharding Sharding은 데이터를 복수개의 서버에 분산시키는 방법입니다. MongoDB는 아주큰 데이터들을 배포하기 위해, 그리고 아주 높은 처

taypark

이전 구조(새로운 계층에 대한 요구사항(개선된 구조(남은 문제점(최종 아키텍처(실제 사용 스펙(결론(향후과제(참고자료(이 글은 NHN Forward 2019에서 본 것을 정리한 글입니다. 원본 영상은 https://www.youtube.com/watch?v=8

onikss793

굉장히 유명한, 대표적인 NoSQL 중에 하나이다. 짧은 시간에 개발할 떄, 정말 유용하게 쓰일 수 있다. NoSQL...? NoSQL은 무슨 약자일까. Not Only SQL이라는 의미이다. 빅데이터 시대로 넘어가면서 데이터의 형태가 단순해지는데 반해 데이터의 규모는 어마어마한 크기가 되어 가고 있다. 이러한 데이터의 홍수 속에서 RDBS 방식은 한계를...