이 파일비트 설정은 카프카에서 데이터를 수집해서 엘라스틱 서치에 색인하는 과정이다. 1주일간 삽질하계된 계기 내가 원하는것. 이파일 설정하나로 -> 내가 원하는 인덱스 템플릿에서 날짜별로 원하는 데이터가 수집되어야하는데. 내가만든 인덱스 템플릿이 적용이 되지 않고 ilebeat은 기본적으로 정의된 인덱스 템플릿(default index template)을 사용해 무수히 필요없는 많은 매핑정보를포함한 인덱스 템플릿이 정의 되었기 때문이다. 최종적인 yml 파일은 위에 나와있는대로다. 데이터 스트림 및 롤링인덱스 적용후 설정파일 정리 위 설정 파일은 Kafka에서 로그를 수집하여 Elasticsearch에 저장하는데, Elasticsearch의 데이터 롤링과 삭제 정책을 적용하여 로그 데이터를 처리합니다. filebeat.inputs: Filebeat 입력을 설정합니다. 이 설정에서는 Kafka로 부터 로그를 수집합니다. output.elastics