Splunk 검색 - 필드(Field) 및 파이프라인(|) 이용하기

1. Splunk 필드

1) 필드의 개념

필드란 로그 검색을 편리하게 만들어주는 매우 강력한 기능이고 [필드 명 = 값]으로 구성되어 이를 검색에 활용할 수 있다.

 

2) 필드가 필요한 이유

필드를 사용하지 않으면 검색한 문자열이 모든 영역에서 포함되는지 확인하지만 필드를 지정하면 해당 필드 안에 있는 원하는 문자가 포함된 로그를 검색할 수 있다.

예를 들어 웹 서버의 404 상태 코드를 보고자 할 때 404만 입력 후 검색을 수행한다면 404 에러에 해당하는 로그도 출력되지만 파일 이름 안에 404가 들어가거나 파일의 크기가 404byte인 경우에도 출력이 되기 때문에 정확한 결과를 얻을 수 없다. 

2. 검색에 필드 활용

index 필드가 book이고 referer 주소가 http://www.google로 시작하는 URL 중 상태 값이 200인 로그만 출력한다.

index="book" referer=http://www.google* status="200"

 

 

출력된 로그 중 하나를 확인해보면 검색 필드에 존재하는 값이 포함된 로그가 출력되었고 검색 필드 이외의 수많은 필드가 존재한다는 것을 확인할 수 있다.

 

 

필드 값은 대소문자를 구분하지 않지만 필드 명은 대소문자를 엄격히 구분한다.

아래와 같이 index 필드를 Index로 검색했을 때 로그가 출력되지 않는 것을 확인할 수 있다.

 

 

필드가 IP주소를 포함하고 있다면 CIDR 형식으로 검색이 가능하다.

clientip=91.205.189.15

 

3. Splunk 파이프 라인(|) 

1) 파이프라인 개념

Splunk 검색 시 파이프 라인의 사용은 매우 중요하다. 동작 과정은 Unix/Linux 운영체제의 사용방법과 거의 동일하다.

지금까지 기본 검색, 필드=단어로만 검색을 수행했는데 로그를 검색하다 보면 상세하게 파악하기 위해서 매우 복잡한 조건을 부여하고 검색하는 경우가 존재한다. 그리고 필드 구분이 항상 담당자가 원하는 방식으로 추출되지 않을 때 파이프라인을 사용한다.

2. 검색에 파이프라인 활용

index 필드가 book이고 데이터 형식을 나타내는 sourcetype이 access_combined_wcookie인 로그 중 상태 값이 404인 로그를 추출한다.

이후 파이프라인을 통해 추출된 결과를 url 기준 개수를 출력한다.

 

파이프라인 동작 방식

파이프라인 기준의 오른쪽 검색 명령어는 항상 왼쪽 검색 명령어 결과를 기반으로 새로운 명령어를 작성한다. 

 

index="book" sourcetype="access_combined_wcookie" status="404" | stats count by url

 

상세 로그는 출력되지 않고 해당 로그의 개수가 출력된 것을 확인할 수 있다. 

 

 

자세한 결과를 얻기 위해서 여러 개의 파이프라인을 이용하면 검색어가 길어져 가독성이 떨어지게 된다.

검색 문이 길어질 경우 ctrl + \(역 슬래시) 버튼을 눌러 정렬이 가능하다.

index="book" sourcetype="access_combined_wcookie" status="404" 
| stats sum(cost) as total by productID 
| where total > 100

 

 

해당 정렬을 자동으로 사용하기 위해서 우측 상단의 계정 이름을 클릭한 후 기본 설정으로 이동한다.

 

 

기본 설정에서 SPL 편집기를 클릭한 후 검색 형식 자동 지정을 활성화해주면 된다.