카프카의 탄생 배경
- 링크드인에서 출발해 2011년 초 아파치 공식 오픈소스로 세상에 공개
- 기존의 메시지 큐 (ex. activeMQ)
- 성능이 느리고, 큰 데이터 처리 불가
- 메시지 큐에 넣는 데이터를 축약해서 넣을수밖에 없어, 추후 확장성에 한계
- 데이터 파이프라인으로 연결돼야하는 각 어플리케이션에 대해 (데이터 웨어하우스 등) 각기의 데이터를 준비하고 배치로 넣어야만 하는 구조적 한계점
- 링크드인의 결심
- 모든 시스템으로 데이터를 전송할 수 있고
- 실시간 처리도 가능하며
- 확장이 용이한 시스템을 만들자
- 네개의 목표
- 프로듀서 / 컨슈머 분리
- 영구 메시지 데이터를 여러 컨슈머에 허용
- 실제 카프카에서 가능해졌지. 메시지 컨슈머가 가져간다고 없애는 방식이 아니니까. 컨슈머 그룹 다르면 한 데이터 여러 컨슈머 그룹에서 가져갈 수 있음
- 한 컨슈머 그룹 내에서는 파티션 하나에 여러 컨슈머 붙는거 불가능함.
- 한 파티션에서는 메시지 순서가 유지되거든
- 높은 처리량을 위한 메시지 최적화
- 스케일아웃이 가능한 시스템
카프카의 동작 방식과 원리
- 카프카는 메시징 서버로 동작
- 보내는 측(publisher / producer) 에서 카프카에 토픽이라는 각각의 메시지 저장소에 데이터를 저장하면 가져가는 측(subscriber / consumer)이 원하는 토픽에서 데이터를 가져가는 방식
- 이렇게 메시징 시스템 서버를 두고 메시지를 publish 하고 subscribe 하는 형태의 통신 -> pub/sub 모델 !
- 일반적인 통신: 프로듀서와 컨슈머가 바로 통신
- 장점: 빠른 전송 속도
- 단점
- 특정 개체에 장애 발생 시 메시지 보내는 쪽에서 대기 처리 등을 개별적으로 하지 않으면 장애 발생
- 확장성이 좋지 않음
- pub/sub 모델
- 발신자의 메시지에는 수신자가 정해져 있지 않은 상태로 발행
- 구독을 신청한 수신자만이 정해진 메시지를 받는 구조
- 프로듀서 -> 컨슈머 직접 통신이 아니라 프로듀서는 중간의 메시징 시스템에 전달
- 메시징 시스템의 교환기가 수신처 ID 값을 확인하고 컨슈머 큐에 전달
- 컨슈머는 자신들 큐 모니터링하다가 큐에 메시지가 전달되면 값을 가져감
- 메시징 시스템만 살아있으면 프로듀서에서 전달된 메시지가 유실되지 않음
- 불능 상태의 개체가 다시 회복되면 언제든지 다시 가져감
- 단점
- 직접 통신이 아니므로 메시지가 정확하게 전달되었는지 확인하려면 까다롭고
- 메시징 시스템으로 인해 메시지 전달 속도가 빠르지 않음
- 카프카는 메시징 시스템의 한계를 극복하기 위해 여러가지 방법을 도입하는데..
카프카의 특징
- 프로듀서와 컨슈머의 분리
- 메시지 보내는 역할 / 받는 역할이 완벽하게 분리된 pub/sub 방식 도입
- 각각의 서비스 서버들은 모니터링이나 분석 시스템의 상태 유무와 관계없이 카프카로 메시지를 보내는 역할만 하고, 모니터링/분석 시스템도 서비스 서버 상태와 관계없이 카프카에 저장되어있는 메시지만 가져오면 됨
- 즉 한쪽 시스템의 문제가 전파될 확률 low
- 메시지 보내는 역할 / 받는 역할이 완벽하게 분리된 pub/sub 방식 도입
- 멀티 프로듀서, 멀티 컨슈머
- 하나의 토픽에 여러 프로듀서 & 여러 컨슈머들이 접근 가능한 구조
- 즉 하나의 프로듀서가 하나의 토픽에만 메시지를 보내는 것이 아니라 하나 이상의 토픽으로 메시지 송신 가능
- 프로듀서2는 토픽1과 토픽2 두개의 토픽으로 메시지2를 각각 보낼 수 있음
- 컨슈머1은 토픽1과 토픽2 두개에 대해서 각각 메시지를 가져와서 처리할 수 있음
- 디스크에 메시지 저장
- 일반적인 메시징 시스템
- 컨슈머가 메시지를 읽어가면 큐에서 바로 메시지 삭제
- 카프카는 컨슈머가 메시지를 읽어가더라도 정해져있는 보관주기동안 디스크에 메시지를 저장
- 처리가 늦어지더라도 디스크에 안전하게 보관 -> 메시지 손실 없이 메시지를 가져갈 수 있음
- 멀티 컨슈머도 이 특징때문에 가능한것임
- 일반적인 메시징 시스템
- 확장성
- 카프카 클러스터는 3대의 브로커로 시작해서 수십대의 브로커로 확장 가능
카프카 용어 간단 정리
- 브로커: 카프카가 설치돼있는 서버/노드
- 토픽: 프로듀서와 컨슈머들이 카프카로 보낸 자신들의 메시지를 구분하기 위한 네임으로 사용
- 파티션: 병렬처리가 가능하도록 토픽을 나눌 수 있고, 많은 양의 메시지 처리를 위해 파티션의 수를 늘려줄 수 있음
- 각 컨슈머는 한 파티션을 listen 해서 가져간다. 한 토픽의 여러 파티션을 listen 할 수는 없다.
26개의 댓글
Dive into a world of exciting opportunities with https://1most.bet/, one of the best bookmakers in South Korea and around the world! Enjoy the benefits we offer: deposit bonuses up to 200%, weekly cashback, as well as generous freebies and freespins.
Sign up now and discover the world of winning and excitement! For new players from Poland we've prepared the best bonuses that will increase your chances of success. Come and be a part of our exciting gaming community. Good luck!
Dive into a world of exciting opportunities with https://1most.bet/, one of the best bookmakers in South Korea and around the world! Enjoy the benefits we offer: deposit bonuses up to 200%, weekly cashback, as well as generous freebies and freespins.
Sign up now and discover the world of winning and excitement! For new players from Poland we've prepared the best bonuses that will increase your chances of success. Come and be a part of our exciting gaming community. Good luck!
Dive into a world of exciting opportunities with https://1most.bet/, one of the best bookmakers in South Korea and around the world! Enjoy the benefits we offer: deposit bonuses up to 200%, weekly cashback, as well as generous freebies and freespins.
Sign up now and discover the world of winning and excitement! For new players from Poland we've prepared the best bonuses that will increase your chances of success. Come and be a part of our exciting gaming community. Good luck!
Dive into a world of exciting opportunities with https://1most.bet/, one of the best bookmakers in South Korea and around the world! Enjoy the benefits we offer: deposit bonuses up to 200%, weekly cashback, as well as generous freebies and freespins.
Sign up now and discover the world of winning and excitement! For new players from Poland we've prepared the best bonuses that will increase your chances of success. Come and be a part of our exciting gaming community. Good luck!
MostBet is the best bookmaker offering generous prizes for new customers. They offer a bonus of up to 200% on the first deposit, regular cashback every week, as well as access to online casinos and sports betting via a mobile application. New customers can enjoy the best bonuses. Don't miss the opportunity to become a part of this leading bookmaker and win more on https://1most.bet/hi/.
MostBet is the best bookmaker offering generous prizes for new customers. They offer a bonus of up to 200% on the first deposit, regular cashback every week, as well as access to online casinos and sports betting via a mobile application. New customers can enjoy the best bonuses. Don't miss the opportunity to become a part of this leading bookmaker and win more on https://1most.bet/az/.
Join https://1most.bet/ru/, the top bookmaker offering generous prizes for new customers. Get up to a 200% bonus on your first deposit, enjoy regular cashback rewards, and access online casinos and sports betting through their mobile app.
Join https://1most.bet/ru/, the top bookmaker offering generous prizes for new customers. Get up to a 200% bonus on your first deposit, enjoy regular cashback rewards, and access online casinos and sports betting through their mobile app.
Join https://1most.bet/ru/, the top bookmaker offering generous prizes for new customers. Get up to a 200% bonus on your first deposit, enjoy regular cashback rewards, and access online casinos and sports betting through their mobile app.
Join https://1most.bet/az/, the top bookmaker offering generous prizes for new customers. Get up to a 200% bonus on your first deposit, enjoy regular cashback rewards, and access online casinos and sports betting through their mobile app.
Experience the finest rewards as a new customer by joining the leading bookmaker at https://1most.bet/az/. Benefit from an impressive up to 200% bonus on your initial deposit, along with regular cashback rewards. Access online casinos and sports betting seamlessly through their user-friendly mobile app. Don't miss out on this opportunity to enhance your betting journey.
MostBet is the best bookmaker offering generous prizes for new customers. They offer a bonus of up to 200% on the first deposit, regular cashback every week, as well as access to online casinos and sports betting via a mobile application. New customers can enjoy the best bonuses. Don't miss the opportunity to become a part of this leading bookmaker and win more on https://1most.bet/hi/
MostBet is the best bookmaker offering generous prizes for new customers. They offer a bonus of up to 200% on the first deposit, regular cashback every week, as well as access to online casinos and sports betting via a mobile application. New customers can enjoy the best bonuses. Don't miss the opportunity to become a part of this leading bookmaker and win more on https://mostbet.com.pl/
MostBet is the best bookmaker offering generous prizes for new customers. They offer a bonus of up to 200% on the first deposit, regular cashback every week, as well as access to online casinos and sports betting via a mobile application. New customers can enjoy the best bonuses. Don't miss the opportunity to become a part of this leading bookmaker and win more on https://1most.bet/ru/
İlk depozitonuzda %200'e varan cömert bir bonusun yanı sıra düzenli nakit geri ödemeleri ve yalnızca saygın MostBet bahis şirketimizde bulunan uygun erişimden yararlanın: https://mostbet.info.tr/
İlk depozitonuzda %200'e varan cömert bir bonusun yanı sıra düzenli nakit geri ödemeleri ve yalnızca saygın MostBet bahis şirketimizde bulunan uygun erişimden yararlanın: https://mostbet.info.tr/
Mostbet'in en iyi bahis şirketi, hızlı ödemeleri ve kazanma olasılığı yüksek olan en iyi bahisçidir. Şimdi kaydolun ve bizden cömert bir bonus alın: https://staging.waxmarketing.com/
Najlepszy bukmacher mostbet z szybkimi wypłatami i wysokim prawdopodobieństwem wygranej. Zarejestruj się teraz i otrzymaj od nas hojny bonus: http://www.adna.in/mostbet-pl.html
Mostbet'in en iyi bahis şirketi, hızlı ödemeleri ve kazanma olasılığı yüksek olan en iyi bahisçidir. Şimdi kaydolun ve bizden cömert bir bonus alın: https://www.confiterosasturias.com
Najlepszy bukmacher mostbet z szybkimi wypłatami i wysokim prawdopodobieństwem wygranej. Zarejestruj się teraz i otrzymaj od nas hojny bonus: https://www.vault.shepodcasts.com
সেরা বুকমেকার সর্বাধিক দ্রুত অর্থ প্রদান এবং জয়ের উচ্চ সম্ভাবনা সহ বিট. এখনই নিবন্ধন করুন এবং আমাদের কাছ থেকে একটি উদার বোনাস পান: https://steelstudios.co.uk/mostbet-bn.html
Nejlepší sázková kancelář mostbet s rychlými výhrami a vysokou pravděpodobností výhry. Zaregistrujte se nyní a získejte od nás Velkorysý bonus: https://comfway.com/mostbet-cs.html
The best bookmaker mostbet with fast payouts and a high probability of winning. Register now and get a generous bonus from us: http://www.sperkymax.cz/mostbet-en.html
Najlepszy bukmacher mostbet z szybkimi wypłatami i wysokim prawdopodobieństwem wygranej. Zarejestruj się teraz i otrzymaj od nas hojny bonus: https://www.alexandredeparis.com
Nejlepší sázková kancelář MostBet poskytuje klientům výhodný Bonus až 200% na první výhry, rychlý výběr na kartu a dárky zdarma každý týden. Připojte se k nám a získejte výhodné bonusy: https://beyondpancakes.com
Dive into a world of exciting opportunities with https://1most.bet/, one of the best bookmakers in South Korea and around the world! Enjoy the benefits we offer: deposit bonuses up to 200%, weekly cashback, as well as generous freebies and freespins.
Sign up now and discover the world of winning and excitement! For new players from Poland we've prepared the best bonuses that will increase your chances of success. Come and be a part of our exciting gaming community. Good luck!