# splunk
Splunk app CLI에서 설치
여기 searchpartyworkshop 이란 app을 스플렁크에 설치 해보겠다. 현재는 splunk설치 직후라 기본 앱을 제외한 아무런 앱이 깔려있지 않다. 나는 ADSsearchparty_workshop이라는 앱을 깔것이기 때문에 cp 설치할앱.tar.gz $SPLUNK_HOME/bin 으로 복사한다. 복사가 아닌 그냥 옮기고 싶다면 mv 설치할앱.tar.gz $SPLUNK_HOME/bin 으로 하면 된다. 
TCP-KeepAlive
Splunk 쿼리 및 인풋 스크립트를 짜다가 , 100개 이상의 쿼리를 날릴 시 TCP Keep Alive 세션유지를 할때와 단순 TCP 연결과 해제를 반복할 경우의 성능차이가 궁금해졌다. request모듈을 이용해서 단순 쿼리를 100번 날릴경우, 200초 이상이 소요 Session을 설정하고, HandShaking 과정을 생략하고 100번을 날릴경우 약 2초 네트워크 지식의 중요성을 알 수 있었다...
Splunk return & format 에 관하여 / 여러 column과 row를 한번에 검색할 때
Splunk를 이용해서 검색하다보면 어떤건 제외하고, 어떤건 포함하고 하는 식으로 이것 저것 조건을 만들게 된다. 그러다 보면 예외 처리나 포함하는 구문으로만 10줄이 넘어가게 된다. 이럴때 유용하게 사용할 수 있는 명령어가 있는데 바로 return과 format이다. 참고로 이 명령어를 사용하기 위해서는 subsearch를 사용하는 것이 거의 필수이다. (아닐 경우도 있겠지만 ^^. 대부분 그렇다.) 두개의 명령어가 매우 유사한 역할을 하기 때문에 같이 설명하겠다. 1. return subsearch의 검색결과를 반환하는 역할을 한다. 이렇게 설명하면, subsearch를 모르는 사람은 알아듣기 어려울 수 있기 때문에 먼저 subsearch가 아닌 그냥 search로 검색했을 때의 결과를 확인해보자. 1) 기본 사용법 먼저 이러한 쿼리가 있다고 하자, 나는 여기서 action에 해당하는 값 4가지를 모두 최초 검색에 포함시키고 싶은 상황이다. 
[SPL] stats와 eventstats 차이점 이해하기
stats와 eventstats 차이점 이해하기 Splunk에서 데이터를 분석하다 보면, 다양한 명령어를 사용하여 데이터를 집계하고 요약해야 할 때가 있습니다. 이러한 상황에서 자주 사용되는 두 가지 명령어가 stats와 eventstats입니다. 이 글에서는 이 두 명령어의 차이점과 사용법에 대해 알아봅니다. stats stats 명령어는 결과를 집계한 후, 최종 집계된 결과만 출력합니다. 원본 이벤트를 유지하지 않으며, 각 그룹별로 한 개의 결과 레코드만 생성합니다. 일반적으로 데이터를 요약하거나 결과를 그룹화할 때 사용됩니다. 예제: eventstats eventstats 명령어는 stats와 유사한 집계 작업을 수행하지만, 원본 이벤트를 유지하고 각 이벤트에 집계 값을 추가합니다. 이를 통해 원본 이벤트와 함께 통계 정보를 확인할 수 있습니다. 이 명령어는 각 이벤트에 대한 컨텍스트를 제공하거나 이벤트를 필터링할 때 유용합니다. 예제:
[개요] Splunk & SPL
Splunk & SPL(Splunk Processing Language) Splunk는 실시간 데이터 처리 및 분석 솔루션입니다. 이를 통해 기업은 기계 데이터를 수집, 검색, 모니터링, 분석 및 시각화하여 보다 효율적인 의사 결정을 내릴 수 있습니다. Splunk의 검색 언어인 Splunk Processing Language(SPL)은 이러한 데이터를 검색하고 분석하기 위한 강력한 도구입니다. Splunk란 무엇인가? Splunk는 대규모 데이터 처리를 위해 설계된 솔루션으로, 실시간으로 데이터를 수집, 분석, 모니터링, 검색, 시각화할 수 있습니다. Splunk는 기업의 IT 인프라, 보안 및 비즈니스 분야에서 사용됩니다. Splunk는 기계 데이터(Machine Data)를 수집하여 사용자가 쉽게 검색하고 분석할 수 있도록 제공합니다. 기계 데이터란 컴퓨터 시스템, 서버, 애플리케이션, 네트워크 등에서 생성되는 모든 데이터를 말합니다. 
splunk/
데이터 수집 시 상태 확인 파일 리드 결과 확인 index=_internal sourcetype=splunkd "permission denied" OR "cannot" 로 검색해서 파일 리드에 대한 결과를 확인할 수 있음. 포워더 관리 리스트 출력 |rest splunk_server=local /services/deployment/server/clients 를 통해 포워더 관리 리스트를 확인 가능
Splunk Job Inspector에 관해
Splunk 작업 검사기에 대해 정리한다. 매번 볼 때마다 정리의 필요성을 느껴왔다. 나는 보통 custom command search를 만들어서 사용할때 에러 로깅으로만 사용해왔는데, Splunk를 쓸 수록 세이브 서치를 만들면서, 다량의 데이터를 이용해 검색하면서 이 작업 검사기의 항목을 이해하는 것이 중요하다고 느껴진다. 아무튼 정리를 하겠다. 오늘 참고한 내용은 Splunk 페이지의 글을 많이 참고했다. 1. Job Inspector - 실행 비용 1) 기간, 구성요소, 호출, 입력/ 출력 수 기간: SH 및 인덱서를 포함
Splunk 정규 표현식 관련 커맨드 rex
splunk에서 정규 표현식을 사용할 때 자주쓰는 rex를 정리한다. rex 정규표현식을 기반으로 필드를 추출해주는 커맨드이다. 필드를 추출할때 사용되기 때문에 정규 표현식 중에서도 (?Pregex) 형태의 명명 그룹 기능을 이용한다. 그 외에도 sed를 이용해 필드의 문자를 바꾸거나 대체할 수 있다. 기본적인 형태는 다음과 같다. 1) (?Pregex) 형태 사용하기 그룹 기능을 사용하면 name으로 추출된 데이터를 그대로 변수로 사용할 수 있다. 예를 들어서 다음과 같이 이용해보자. 인터널 로그 데이터에서 세이브 서치의 로그 정보를 가져오는 내용이다. 정규식은 전체 데이터 중 savedsearch_id 필드에서 정규식으로 세이브 서치의 사용자명과, 앱, 그리고 서치 명을 추출한다. 그러면 다음과 같은 결과를 볼 수 있다. 
Splunk map, foreach 사용법
가끔 splunk로 쿼리를 사용하다보면.. 특히 saved search를 제작할 때에 for문을 돌리고 싶다는 생각이 든다. 정확히 쿼리에 for문을 사용한다는 것 자체가 애매한 표현이기는 하지만, 반복적인 행위를 쿼리 내에서 수행할 수 있는 방법이 있다. 사용하는 방법은 map 커맨드와 foreach 커맨드를 사용하는 것 이다. 두가지는 차이점이 있다. 오늘은 2가지 커맨드에 대해 알아본다. 1. map 1) 사용법 먼저 글로써 간단하게 요약하면map 커맨드는 미리 검색 결과를 나오게 한 후에, 해당 검색 결과를 변수로 사용하여 map 커맨드의 인자로 들어가는 쿼리문에 적용해준다. 바로 예시를 들어보자. 다음과 같은 쿼리문이 있다고 한다. 쿼리의 결과는 다음과 같다. 우리는 위에 나온
Splunk DB-Connect app 시작하기 - 4탄 (Splunk에서 RDBMS로 데이터 INSERT, UPDATE 하기, dbxoutput 사용하기)
splunk에서 쿼리를 사용해서 RDBMS에 접근할 때에는 대부분 dbxquery를 사용한다. 하지만 간혹 dbxoutput 쿼리를 사용할 때가 있다. 그런데 맨 처음 dbxoutput을 사용할 때 이상한 점을 느낀다. 그냥 update, insert 쿼리를 사용해서 바로 업데이트를 하고싶은데, 그게 안된다. dbxoutput을 사용할 때에는 DB-Connect app에 정의된 데이터베이스 출력를 인수로 사용하게 되고, 이때 데이터베이스 출력 개체에 output하게 될 필드 정보를 저장한다. 이때 쿼리는 SQL이 아니라 SPL로 이뤄져야 한다. 그래서 처음에 이게 뭐지 싶었다. 난 그냥 update, insert쿼리를 사용한 SPL이 필요한데 그것은 Splunk에서 제공하지 않는다. 따라서 결론은 Splunk를 통해 Insert, update를 하려면 DB Connect 앱을 통해서 미리 정의한 데이터 베이스 출력 개체가 있어야함 해당 출력 개체의 이름을 db
Splunk DB-Connect app 시작하기 - 3탄 (Splunk에 RDBMS DB연결하기, RDBMS 데이터 수집하기)
오늘은 본격적으로 DB-Connect app으로 데이터 베이스의 데이터를 인덱스로 가져올 것 이다. 1. 데이터베이스 테이블 데이터를 Splunk로 수집하기 1) Set SQL Query 먼저 DB-Connect app> Data Lab > New Input Connection: 내가 특정 SQL에 연결하기 위해 만든 커넥션을 선택해준다. Catalog: 연결할 데이터 베이스를 선택해준다. 나는 일단 간단한 SQL을 사용하여 잘 연동되었는지 확인해봤다. 이후 ExeCute를 눌러주면 실제 SQL이 실행된 결과가 나오게 된다. 데이터를 가져올 테이블을 좌측에서 선택해줘야 한다. 나는 city_dtl을 선택해줬다. 우측에는 관련 설정 항목이 있는데, 하나씩 설명해보겠다. ![]
Splunk DB-Connect app 시작하기 - 2탄 (Splunk에 RDBMS DB연결하기)
이번 포스팅에서는 앞서 1탄에서 DB-Connect 앱을 사용하기 위한 설정을 모두 마친 후 실제 DB Connect에서 사용할 Identity생성과, 연결을 담당하는 객체(?)를 생성하는 과정을 진행할 것 이다. 1. Identity Splunk 에서 DB에 연결할 데이터 베이스 전용 사용자를 생성하는 과정이다. 이때 생성되는 계정은 DB에 사용할 계정이고, Splunk의 계정과 동일하지 않다. 기본적으로 Splunk admin, dbconnectadmin 계정에는 읽기, 쓰기 권한이 있다. dbconnectuser 역할에는 읽기 권한이 있다. 1) Identity 생성 DB-Connect 앱 > 설정 > New Identity를 클릭한다. 다음과 같이 입력하고, 권한 부분
Splunk DB-Connect app 시작하기 - 1탄 (Splunk에 RDBMS DB연결하기)
유튜브 영상과 공식문서를 참고했다. 오늘은 기본적인 환경구성과 설치에 대해서 포스팅한다. 0. 개념 DB Connect 앱은 우리가 Splunk에서 RDBMS와 연동을 할 때 사용하는 앱이다. 보통은 사용할 일이 많기 때문에 아마 Splunk를 사용하는 회사라면 거의 다 사용할 것 이다. 1) 기능 데이터베이스 인덱싱 가능 - Splunk DB Connect를 사용하면 데이터베이스의 테이블, 행 및 열을 데이터를 인덱싱하는 Splunk Enterprise로 직접 가져올 수 있다. 데이터베이스 내보내기 - DB Connect를 사용하면 Splunk Enter
Splunk 앱 제거하기
Splunk에서 앱을 제거해야 할 때가 있다. 일단 UI에서는 제거하는 탭이 없다. 터미널에서 직접 제거해줘야 하는데, 이때 주의해야 할 점이 있다. 1. App과 관련된 모든 Knowledge Object가 사라진다. 1) 앱에 저장되는 Knowledge Object 목록 saved searches event types tags field extractions lookups reports alerts data models workflow actions fields 등이 모두 App 하위에 저장되기 때문에, 만약 실수로 삭제하기 전에 미리 앱에 어떤 항목이 있는지 먼저 확인해보는 것이 좋겠다. 2) 앱에 저장되는 Knowledge Object 목록 한번에 확인하기 결과는 다음과 같이 나오게 된다. 
Splunk JSON_PART2/ json 배열, json 관련 함수/ Splunk JSON 2탄
Splunk에서 은근 json 데이터를 많이 다루게 되는데, 이때 무조건 json 관련 함수를 쓰게된다. 쓸 때마다 찾아봐야해서 블로그에 정리해두려고 한다. 일단 공식 홈페이지에 가보면 json 과 관련된 함수가 11개나 있다. 각기 사용 방법이 다른데, 비슷한듯 하면서도 다르다. 1탄과 2탄을 나눠서 쓰는데, 2탄에서는 json 배열과 관련된 함수와 json 정보를 다루는 함수에 대해서 설명한다. 1. JSON 배열 관련 1. JSON 특정 key의 배열로 이뤄진 value에 element 추가하기 json_append 배열에 element 추가하기 이미 잘 만들어진 json 객체가 있다고 하자. 여기서 spave travel 속성은 ["Star Wars","Intersesllar","Moon"] 이러한 배열의 값을 가지는데, 어떤 조건이 생길 때마다 혹은 특정 값을 추가해서 json을 수정하고 싶다면 다음과 같이 json_append를 사용하면 된다.
Splunk JSON_PART1 json_object, json_set/ JSON 1탄
Splunk에서 은근 json 데이터를 많이 다루게 되는데, 이때 무조건 json 관련 함수를 쓰게된다. 쓸 때마다 찾아봐야해서 블로그에 정리해두려고 한다. 일단 공식 홈페이지에 가보면 json 과 관련된 함수가 11개나 있다. 각기 사용 방법이 다른데, 비슷한듯 하면서도 다르다. 1탄과 2탄을 나눠서 쓰는데, 1탄에서는 json 객체의 생성, 수정 부분을 다룰 것 이다. ** 공식 홈페이지 문서를 참고했습니다. 1. json_object (json 객체 생성하기) 1) 기본 사용법 기본 객체 생성 json 객체를 만들어주는 함수이다. { "name": "maria" } 인 json 객체를 만든다고
Splunk append, appendpipe, appendcols append의 모든 것/ Splunk 검색결과 합치기
보통 대시보드를 만들때 두가지 결과를 합치고 싶을 때가 많다. 그럴때 많이 사용하는 것이 append 명령어 이다. appendpipe, appendcols는 거의 사용한 적이 없으나 알아보니 유용한 기능이고 이왕 아는거 3가지 다 아는게 나은것 같다. 검색을 합치는 것이 multisearch라는 유사한 기능도 있는데, 이는 검색 결과를 합치는게 아니라 검색 자체를 합친다. 그래서 2가지 검색을 동시에 실행한다. 나중에 이 기능도 다뤄야겠다. 1. append 1) 기본 사용법 형태만 보면 이렇게 보면 된다. 사용법은 매우 간단하다. 이러한 쿼리가 있다고 하면 다음과 같은 결과가 나온다. 여기에 내가 어떤 검색결과를 단순히 합쳐서 그대로 보여주고 싶다면 이렇게 하면 된다. 
Splunk history 명령어/ Splunk 검색 기록 보기 / Splunk 검색 히스토리 보기
매우매우 간단하지만 유용한 history 명령어에 대해 소개한다. 말 그대로 검색했던 기록을 모두 보여준다. 1. 사용법 간단하다. 그냥 history 라고 치면 된다. 생각보다 너무 상세하게 나와서.. 매우 유용하다 느꼈다. 검색하다가 막 아까 검색한 쿼리문을 날려버렸을 때 아주 유용할 것 이다. 게다가 검색하는 정보도 상세하게 알려주기 때문에 활용하는데 분명 도움이 될 것 이다. 옵션 옵션은 1가지가 있는데, events 옵션이다. 이벤트 형으로 결과를 확인할지에 대한 옵션이다. 이것을 활성화 해주면 이렇게 결과를 볼 수 있다. 
Splunk eventtype, 이벤트 타입, 스플렁크 이벤트 타입, 이벤트 타입의 모든 것
오늘은 splunk 이벤트 타입에 관하여 포스팅한다. 유튜브를 참고, 공식문서를 참고했다. 첨부된 그림은 공식 문서 그림과 내가 직접 실습한 화면의 그림을 섞어 첨부했다. 1. 개념 Eventtype은 스플렁크에서 룩업, 태그와 같은 knowledge object 중 하나이다. Eventtype은 우리가 특정한 이벤트 들을 카테고리처럼 분류하여 볼 수 있게 해준다. 보통 유사한 패턴을 가진 데이터를 찾고, 보고서를 생성할때 많이 활용된다. 1. 검색 시간 및 작업 순서 우리가 어떤 SPL검색을 실행하게 되면, **검색 후 반환된 이벤트에
[Shielders] Rookies-23
22.10.27 SIEM 구축 및 활용 실습.01 >SIEM 구축 및 활용 실습.01 시스템환경 Hostname : IP address : H/W / OS SplunkServer : 192.168.10.10/24 : 2Core/8GB/60GB / Ubuntu 20.04 ZeekIDS : 192.168.10.20/24 : 2Core/4GB/40GB / Ubuntu 20.04 WebServer : 192.168.10.30/24 : 1Core/4GB/20GB / CentOS 8 Sysmon : 192.168.10.40/24 : 1Core/2GB/20GB / Windows 10 목차 서버 세팅 NTP 서버 구성 구성도 1. 서버 세팅 SplunkServer !