EFK

Overview fluentd는 log collector로 다양한 source(file, stdout, network etc)에서 발생한 log들을 한 곳으로 모아 필터링과 변환을 거친 후에 원하는 위치로 output을 보내준다. https://www.youtube.

fluentd의 configuration file은 fluentd의 동작 전부를 결정하는 아주 중요한 요소이다. 1\. input source와 output destination을 무엇으로 쓸 것인지(plugin) 결정하고2\. input과 output plugin에

fluentd의 configuration file은 UTF-8과 ASCII를 기본적으로 사용하며, 기본적인 지시어들은 다음과 같다.1\. source: input source를 결정한다.2\. match: output destination을 결정한다.3\. filter

@type은 plugin의 type을 설명하는 파라미터이다.@id는 configuration에 대한 unique한 이름을 지정해준다. id는 buffer, storage, logging 등 다양한 목적을 위해 path로 사용된다.해당 파라미터는 모든 plugin들이 r

format section은 match 또는 filter section에서 사용가능하며 다음과 같이 사용한다.foramt section의 @type 파라미터는 formatter plugin type을 지정할 수 있다. 가령 json이라면 다음과 같이 쓸 수 있다.이 외

daemonset으로 fluentd를 배포하기 전에 확인해야할 것이있다. kubernetes에서 fluentd는 daemonset으로 각 node마다 하나씩 배포되는 형식인데, 각 node의 host path로 /var/lib/docker/containers를 volu

Fluentd daemonset 고도화 이제 fluentd의 다양한 plugin들을 사용하여 로그들을 파싱하고 고도화해보도록 하자. containerd, CRI-O에서의 log파싱 kubernetes에서는 docker지원을 공식 중단했다. 이유는 간단한데, 공식 CRI를 docker에서 미지원했기 때문이다. 이때 바뀌게 되는 부분이 하나 있는데, 바로 ...

잘 동작하는 줄 알았더니 하나 버그가 있었다. log가 적히지 않는 index를 계속해서 rollover하는 문제였다. 가령 다음과 같은 index가 있다고 하자.park으로 시작하는 prefix를 가지는 data는 park이라는 하나의 pod에 대한 log를 기록한다