# Grok Pattern

2개의 포스트
post-thumbnail

[Elastic Stack] Logstash Multi Grok Pattern 적용하기

0. Summary > Logstash에서 Grok Pattern을 적용해서 사용중에 있다. 그러다가 같은 log에서 UUID, MongoDB의 ObjectId 등을 Grok Pattern으로 걸러내고 싶은 경우가 생겨 여러 시도를 해본결과 Grok Pattern을 여러개 적용한 방법을 기록해볼려고 한다. 1. 이전 설정 파일 Spring Logback의 Log 패턴만 적용함 I, input II, output > 기존 grok 패턴 하나일 때 output을 보면 걸러내고 싶던 objectId와 uuid가 인덱스에 적용안된 것을 확인 할 수 있다. 2. 수정한 설정 파일 Spring Logback의 Log 패턴 + UUID + MongoDB ObejctId UUID 패턴은 grok patern reference에 이미 정의되어 있어 그대로 사용함 MongoDB Object 값은 소문자+숫자가 24자리수를 가

2023년 3월 16일
·
0개의 댓글
·

[Logstash] Logstash & Grok 패턴 정리

Logstash란? 실시간 파이프라인 기능을 가진 데이터 수집 open source > 왜 사용하는가? 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고 변환할 수 있으며 많은 기본 코덱이 처리 과정을 단순화 로그 스태시는 아래의 pipeline으로 수행 Input, Output은 필수이며 filter는 선택적 적용 가능 > 설정파일 > Grok 패턴 Logstach filter를 통해 비정형 데이터를 정형 데이터로 바꿀 수 있다. 이때 정규식을 이용하여 정형화 하는 방법이 Grok

2022년 11월 10일
·
0개의 댓글
·