filebeat.yml for http and kafka

filebeat-7.16.3-linux-x86_64 기준

filebeat http input 설정

filebeat.inputs:
- type: http_endpoint
  enabled: true
  listen_address: 0.0.0.0 
  listen_port: 8080
  response_code: 200
  response_body: '{"message": "success! filebeat testing!"}'
  url: "/"
  prefix: "json"
  #preserve_original_event: true
  include_headers: ["referer", "User-Agent","date"]


request header에서 특정 부분만 받아오는건 가능하지만
response header 설정은 불가능하다

filebeat file, kafka output 설정

output.kafka:
  enabled: true
  hosts: ["100.100.100.100:9092"] #kafka host, port
  topic: 'test_filebeat'
  #codec.format:
  #        string: '%{[@timestamp]} %{[message]}'


output.file:
  enabled: false
  path: "/tmp/filebeat"
  filename: filebeat
  #rotate_every_kb: 1024000
  #number_of_files: 30
  permissions: 0777 

file로 쓰려고 했을때 OS/보안 설정에 따라 permission 문제가 생길수 있어 0777로 설정했지만 일반적인 경우엔 permissions 설정 없이도 작동한다.