Log 수집 방법 선택 과정

1. AWS CloudWatch Logs + AWS Lambda

   • 간단하나 lambda 함수 실행 할 때 비용 지불

2. AWS sdk 로 바로 저장

3. AWS Glue

   • 로그의 양이 많거나 비정형화된 데이터

4. AWS SNS

   • 적절하지 않음 메시지 크기 제한: AWS SNS는 메시지 크기에 대한 제한이 있어 메시지 크기가 256KB를 초과하면 전송할 수 없다.
     

5. 로그 수집기 (Fluentd, Logstash, Filebeat) : chatgpt 설명임

   • 장/단점
     1. Fluentd
        Fluentd는 데이터 수집, 처리 및 배송을 위한 오픈 소스 데이터 수집기로서, 가벼운 설치 및 유연한 확장성, 다양한 데이터 소스 및 대상 지원 등의 장점이 있습니다. Fluentd는 수집된 데이터를 다양한 대상으로 전송할 수 있으며, 다양한 플러그인을 사용하여 사용자 정의 기능을 구현할 수 있습니다. 또한 Fluentd는 중앙 집중식 구성 관리를 지원하며, 다양한 데이터 형식을 지원하여 빠르고 효율적인 데이터 처리가 가능합니다. 단점으로는 구성 및 사용이 복잡할 수 있으며, 구성 오류로 인한 문제가 발생할 가능성이 있습니다.
     2. Logstash
        Logstash는 오픈 소스 데이터 수집 엔진으로서, 다양한 로그 포맷 및 데이터 소스를 지원하며, 다양한 대상으로 데이터 전송이 가능합니다. Logstash는 사용자 정의 파이프라인 및 필터를 사용하여 데이터 처리를 지원합니다. 또한, 다양한 플러그인을 사용하여 대상 시스템과의 통합이 가능합니다. Logstash는 구성이 쉽고 사용하기 쉽습니다. 단점으로는 데이터 처리 속도가 느릴 수 있으며, 대량의 데이터 처리 및 다양한 데이터 형식 처리에 어려움을 겪을 수 있습니다.
     3. Filebeat
        Filebeat는 오픈 소스 데이터 수집기로서, 로그 파일 수집 및 전송에 특화되어 있습니다. Filebeat는 경량화된 설치 및 사용이 가능하며, 다양한 로그 파일 포맷을 지원합니다. Filebeat는 다양한 대상 시스템과의 통합이 가능하며, 높은 성능 및 신뢰성을 보장합니다. 단점으로는 다른 데이터 형식에 대한 처리가 어려울 수 있으며, 다양한 데이터 처리 기능이 부족할 수 있습니다.
        - 설정 간편, 단순성

   http://bcho.tistory.com/1115

   장/단점

	비용	버퍼	적절	데이터양 기준
AWS cloudwatch logs aws Lambda	O	O	O	적음	선택
AWS sdk	X	X	O	적음
AWS sns	O	X	X
로그수집기	X	O	O	많음
AWS glue	O	O	O	많음

→ AWS lambda 선택 이유

첫번째로 요금이 없다고 보면 됨 (사용량이 적어서)
S3기반 DL, DW을 구성해 두고 아테나 쿼리를 기반으로 DB를 DM으로 구성을 한다고 하면 나중에 필요하면 각각 포인트들만 바꿔나가면 된다

🥸 결론 : 로그수집기는 오버엔지니어링이 될 수 있다.