1. 설치 구성 Splunk에 네트워크 계층(Zeek), 엔드포인트 계층 로그(Sysmon)를 설치하여 분석할 예정이다. 2. Zeek 구축 네트워크 층 프로토콜을 모니터링할 수 있는 프로그램이다. Connection정보, DNS, FTP, SSH,HTTP, SSL RDP, SMTP 등 다양한 프로토콜 로그를 수집한다. 설치는 Ubuntu에서 진행하였다. 1) Zeek 설치 Zeek를 설치하기 이전에 실행에 필요할 필수 라이브러리를 설치한다. sudo apt-get install cmake make gcc g++ flex bison libpcap-dev libssl-dev python3 python3-dev swig zlib1g-dev git clone을 통해 zeek 소스코드를 내려받는다. sudo g..

1. 대시보드 만들기 대시보드를 사용하면 각각의 시각화된 데이터를 통합하여 직관적인 정보를 확인할 수 있다. 대시보드의 제목과 ID를 설정한 후 대시보드 만들기를 클릭한다. 제목은 언제든 수정할 수 있지만 ID는 만든 이후에 수정할 수 없다. 권한의 경우 다른 사람들과 공유하려면 앱에서 공유됨을 클릭하면 된다. 2. 패널 추가하기 생성된 대시보드에 시각화된 데이터를 나타내기 위해서 패널을 생성한다. 1) TOP 10 출발지 IP 1.1) TOP 10 출력 대시보드 생성 패널 추가 → 새로만들기 → Statistics Table → 대시보드 생성 index="mall" sourcetype="access_combined_wcookie" | top limit=10 showcount=F showperc=F cl..

1. timechart 시간에 따른 통계 테이블을 생성한다. X, Y축으로 출력되고 시간에 따른 통계를 보고 싶을 때 많이 사용한다. timechart span=[시간범위] 통계함수 by [필드명] 12시간 기준으로 접속자 수(clinetip)를 timechart를 통해 확인 하려고 한다. index="mall" sourcetype="access_combined_wcookie" | timechart span=12h count(clientip) AS "접속자 수" 12시간 기준으로 접속자 수가 통계 및 시각화 된 표 형태로 확인할 수 있다. 2. chart timechart 명령어의 경우 span 명령어를 사용하여 X축을 _time 필드로 지정 하지만 chart 명령어를 사용하면 임의 필드를 X축으로 설정..

1. 데이터 나열 변환 1) table 필드명과 결합해 검색 결과를 테이블 형식으로 보여준다. index="book" sourcetype="access_combiend_wcooke" | table clientipm method, productId, status 원하는 결과에서 내가 원하는 필드를 테이블 형태로 만들어서 출력할 수 있다. 2) rename 필드명을 다른 이름으로 변경한다. 로그에서 필요한 필드명에 의미를 부여하거나 필드에 한글을 쓰고 싶을 경우 사용할 수 있다. 변환하고자 하는 필드명을 띄어쓰기도 포함하고 싶다명 따옴표(")를 붙여주면 된다. index="book" sourcetype="access_combined_wcookie" | table clientip, method, product..

1. Splunk 필드 1) 필드의 개념 필드란 로그 검색을 편리하게 만들어주는 매우 강력한 기능이고 [필드 명 = 값]으로 구성되어 이를 검색에 활용할 수 있다. 2) 필드가 필요한 이유 필드를 사용하지 않으면 검색한 문자열이 모든 영역에서 포함되는지 확인하지만 필드를 지정하면 해당 필드 안에 있는 원하는 문자가 포함된 로그를 검색할 수 있다. 예를 들어 웹 서버의 404 상태 코드를 보고자 할 때 404만 입력 후 검색을 수행한다면 404 에러에 해당하는 로그도 출력되지만 파일 이름 안에 404가 들어가거나 파일의 크기가 404byte인 경우에도 출력이 되기 때문에 정확한 결과를 얻을 수 없다. 2. 검색에 필드 활용 index 필드가 book이고 referer 주소가 http://www.google..

1. 시간 연산자 Splunk 검색 시 원하는 시간 범위안에 있는 로그를 출력한다. 시간 범위를 설정하는 이유가 무엇인가요? 시간 범위 설정은 매우 중요하다. 문제가 발생했을 때 문제가 발생한 시간 범위에서 검색을 수행하면 연관성을 쉽게 찾을 수 있고 결과도 빠르게 찾을 수 있기 때문이다. 1) 시간 설정 방법 검색창 옆에 있는 버튼을 누르면 원하는 시간대로 설정할 수 있다. 2) 미리 설정 많은 시간 범위가 저장되있어서 해당 항목중 하나를 선택해서 시간을 설정하는 방법이다. 3) 날짜 범위 및 날짜 시간 범위 날짜 범위 지정은 특정 날짜 이전, 이후, 사이를 선택하여 지정한다. 검색 시간은 시작일 00시부터 종료일 24시까지 지정된다. 날짜 및 시간 범위는 특정 날짜의 시간대까지 설정하여 좀더 세부적으..

1. 검색 기능 개념 Splunk에 많은 로그를 수집하는 이유는 향후에 저장 로그를 검색해서 원하는 결과를 얻기 위함이다. 자신이 원하는 데이터를 얻기 위해서는 요구하는 내용을 구체적이고 명확하게 작성해야한다. 보통 Splunk에서 검색을 수행할 때 Search&Report앱을 많이 사용한다. 해당 페이지에서 검색어 입력 및 다향한 조건을 이용하여 시간대별로 해당 로그를 확인할 수 있다. 아래 검색 내역에서 이전에 사용자가 검색한 내용들을 확인할 수 있다. 2. 기본 검색 방법 1) 검색 방법 error 라는 문구를 입력 후 검색하면 로그 중 error 문자가 포함된 로그를 출력한다. 사용자가 입력한 항목은 대소문자 구분자를 구분하지 않는다. error 검색할 단어가 여러개일 경우 띄어쓰기로 구분하고 여..

1. 듀토리얼 데이터 다운로드 Splunk는 가상 웹 페이지의 로그를 튜토리얼 데이터로 제공한다. 이번 포스팅에서는 가상의 쇼핑몰 웹 로그 파일을 업로드할 예정이다. 가상의 쇼핑몰 웹 로그 파일: http://docs.splunk.com/images/Tutorial/tutorialdata.zip 룩업 실습용: http://docs.splunk.com/images/d/db/Prices.csv.zip 2. 듀토리얼 데이터 추가 1) 데이터 추가 우측 상단의 설정 → 데이터 추가 버튼을 클릭한다. 데이터 추가를 업로드, 모니터 전달 3가지 방법으로 추가할 수 있다. 업로드는 분석 대상인 파일을 Splunk에 직접 업로드 하는방식이고 업로드 방식을 쓰는 이유는 아래와 같다. ① 분석 대상 로그를 다른 곳에서 전..

1. Splunk란 무엇인가? 로그를 수집하고 사용자가 원하는 결과를 추출하는 대용량 로그 수집/분석 시스템이다. 컴퓨터, 네트워크 장비에서 생성하는 로그 데이터에 최적화되어 있지만 텍스트 기반의 로그라면 어떤 장비로부터 로그를 수신하고 분석할 수 있다. 2. Splunk 다운로드 방법 Splunk는 평가판으로 60일간 사용할 수 있다. 아래의 Splunk 홈페이지에 접속한다. https://www.splunk.com/ SIEM, AIOps, Application Management, Log Management, Machine Learning, and Compliance | Splunk Splunk Inc. the Data-to-Everything Platform turns data into action..