profile
배우고 기록하는 개발 일기장✍

[kafka] python으로 kafka 실행하기

이전 내용에 이어 이번에는 실제 파이썬 코드를 통해 카프카를 실행해보자. 이번에는 로컬에서 파이썬 코드로 테이블에 데이터를 insert한다. 1. 파이썬-카프카 라이브러리 설치 먼저, 파이썬에서 카프카를 사용하기 위해 라이브러리를 설치한다. 2. producer 생

2023년 1월 25일
·
0개의 댓글
·

네트워크 통신 - Stateful과 Stateless

웹 개발을 하다보면, 클라이언트(Client)와 서버(Server)간의 통신이 필수적이다.이를 어떻게 관리할 것인지에 대한 방법을 정리해보았다.상태 유지(Stateful)와 상태 유지하지 않음(Stateless)으로 구분할 수 있는데, 여기서의 "상태 유지"는 말 그대

2023년 1월 25일
·
0개의 댓글
·
post-thumbnail

[AWS] 스케일 업(Scale-Up)과 스케일 아웃(Scale-Out)

스케일 업과 스케일 아웃은 인프라\* 확장을 위한 방법 중 하나이다.📌인프라(Infra)\* 란?IT 환경을 운영하고 관리하는 데 필요한 소프트웨어, 하드웨어, 서비스 및 IT 자원의 조합을 의미한다.서버를 운영, 관리하다 보면 이용자 수의 증가, 부하 증가 등의 이

2023년 1월 19일
·
0개의 댓글
·
post-thumbnail

프로젝트 관리 - Agile과 Waterfall

애자일 vs 워터폴 프로젝트를 진행할 때 여러가지 방법론들이 있다. 그 중에서 대표적으로 많이 사용되는 애자일 방법론과 워터폴 방법론에 대해 알아본다. 이미지 출처:잔디 블로그짧고 점진적인 주기로 개발하는 방법론이며, 제품이나 서비스 개발을 지속적으로 향상시킨다.일정

2022년 12월 26일
·
0개의 댓글
·
post-thumbnail

[Kafka] 윈도우 로컬 에서 카프카 실행해보기

이전 두개의 포스팅에서 카프카의 개념 및 주요 내용에 대해 다루었다. 이제 윈도우 환경에서 카프카를 실제로 테스트 해보도록 한다. 카프카의 기본 구성 요소 등을 모두 학습했다는 가정하에 작성하였다. >실행 환경: Window >기본 설치 요소: Java, Zooke

2022년 12월 11일
·
0개의 댓글
·
post-thumbnail

[Kafka] 주요 개념 Offset, Consumer Group, Rebalancing

지난 내용에 이어, 오늘은 카프카의 오프셋, 리밸런싱, 컨슈머 그룹에 대해 정리해본다. 먼저, 각 개념에 대해 알아보자.오프셋이란, 각 파티션마다 메시지가 저장되는 위치를 의미한다. 당연히 오프셋 값은 '파티션 내에서' 고유하고, 순차적으로 표기된다. 테이블의 pk (

2022년 12월 9일
·
0개의 댓글
·
post-thumbnail

[Kafka] 대용량, 실시간 데이터 처리에 적합한 카프카

이번에 대용량 데이터를 실시간으로 처리하는 업무를 맡았다.개발 과정에서는 특별한 무리는 없었지만, 실제 서비스가 될 경우 유저가 많아질수록 트래픽이 많이 발생하는 현상이 우려되었다.이를 효과적으로 처리하기 위해 도입한 것이 바로 카프카(Kafka)이다.2011년 미국

2022년 12월 4일
·
0개의 댓글
·
post-thumbnail

[Django] sync_to_async (Feat. ninja)

이전 글에서는 wsgi, asgi에 대해 다루었다. 오늘은 동기 메서드를 코루틴처럼 비동기로 쓸 수 있도록 변환해주는 callable object, asgiref 패키지의 synctoasync에 대해 알아보도록 한다. 🤚 이전 글에서 다뤘던 주요 내용에 대해 다시

2022년 11월 29일
·
0개의 댓글
·
post-thumbnail

[Python] gunicorn, uvicorn(wsgi, asgi)

Django Framework 기반의 백엔드 어플리케이션을 위한 WSGI 서버이다.그럼 WSGI는 뭘까?👉WSGI (Web Server Gateway Interface): Python 웹 어플리케이션이 웹 서버와 통신을 하기 위한 인터페이스이다. 웹 서버의 요청을 받

2022년 11월 13일
·
1개의 댓글
·
post-thumbnail

[Django] ORM 'prefetch_related'와 'select_related'

편리하면서도 은근히 사용하기 복잡한 Django의 ORM,그 중 prefetch_related와 select_related에 대해 자세히 알아보자.Object Relational Mapping, 객체-관계 매핑을 뜻하는 용어로, 객체와 관계형 데이터베이스의 데이터를 자

2022년 10월 18일
·
0개의 댓글
·

[Git] Git 세팅 및 자주 사용하는 명령어

Git 초기 세팅 및 자주 사용하는 명령어

2022년 10월 18일
·
0개의 댓글
·
post-thumbnail

'클린 아키텍처(Clean Architecture)'

좋은 코드란 무엇일까?프로그래밍을 하면서 항상 고민하는 주제이다. 개발자라면 누구나 효율적이고 깔끔한 코딩을 하고 싶어 할 것이다.예를 들어, 우리가 작업한 프로젝트에 버그가 있어 수정을 해야 하는 상황이라고 가정하자.버그 하나를 잡기 위해 여러 개의 파일을 수정하며

2022년 10월 16일
·
0개의 댓글
·