Event-Driven Architecture (EDA) is a popular approach for building large-scale distributed systems that can handle massive amounts of data and support

회사 코드를 보니 data lake로 사용되는 s3에 데이터를 올릴 때 pandas의 to_parquet 메서드를 활용해 parquet 형태로 변환 해서 저장하는 것을 보았다.새로 보는 형식이어서 저장하려고 한다.Parquet는 나무조각을 붙여 만든 마루바닥이라는 뜻으

Ingestion Data 흡수 과정 Lamda Function -> Kinesis Stream / Fire house lamda function을 통해 불러와진 data를 Kinesis Stream / Fire house를 통해서 data lake로 전송한다. AW

결국 대부분의 모니터링은 하나를 위한 것인데 "event"를 위한 것이다. 그 예로는 아래와 같다.HTTP 요청 수신HTTP 400 응답 송수신함수 시작사용자 로그인디스크에 데이터 쓰기네트워크에서 데이터 읽기커널에서 추가 메모리 요청event context를 파악하면