본문 바로가기

Elastic Stack

Curator 를 이용한 오래된 index 자동 삭제
2018. 10. 21. Curator? Curator는 elasticsearch 의 관리를 위하여 반복적인 작업을 ymal파일 형태로 저장 하여 실행하는 기능을 수행 한다. 인덱스의 삭제/생성, 스냅샷의 생성/삭제, shard routing allocation 변경 등을 진행 한다. 참조: https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/about-features.html Curator 설치 내부망 환경에서 설치 되어 있기때문에 외부 인터넷 망에서 virtualenv로 설치 후, 해당 폴더를 그래도 이동 하여 사용 중임 pip을 이용 하여 elasticsearch-curator 설치(elasticsearch-curator5 버전으로 elasticsearch5,..
Elasticsearch Hot Warm Architecture
2018. 9. 9. Hot/Warm Architecture• 데이터 별로 저장 할 데이터 노드를 구성 하여 Cluster를 구성 할 수 있다. Elasticsearch에서 원할한 검색 속도를 보장 받기 위해서는 SSD 디스크를 이용 하여 Node를 구성 하지만, 저장 되는 데이터가 많아 지면 고민에 빠질 수 밖에 없다. 그럴 경우 자주 사용 되는 Index에 대하여 성능이 좋은 Node에 저장 하여 사용 하고, 사용을 많이 하고 간혈적으로 사용 하는 Index 에 대하여 비교적 성능이 낮은 Node에 저장 하여 구성 할 수 있다.• 이러한 구성을 Hot/Warm Architecture 라고 불리며, Node를 제어 하려는 시나리오에 유용 하여, 데이터에 대한 세밀한 제어가 가능하다.• 전용 데이터 노드는 다음과 같이 사용할..
Elasticsearch Cluster
2018. 7. 25. 1. Elasticsearch Cluster Node Master-eligible node(Master node) - Cluster - Node - Shard 의 mapping 정보를 담고있는 node로 , index의 생성이나 삭제, 노드 추적등 전반적인 클러스터 전체에 걸친 간단한 작업을 담당 - SPOF 를 위하여 "node.master : true "로 설정되어 있는 Node 중 Master 를 선출 하며, Master 장애시 재선출을 진행 - "node.master : true "로 설정 하며, 기본 값은 true 로 설정 split brain 방지 Master node들의 split brain을 방지하고자 "discovery.zen.minimum_master_nodes" 지시자 를 설정 해야 ..
Logstash Drop filter
2018. 7. 22. logstash Drop 함수는 특정 조건문에 해당하는 데이터에 대하여 삭제 하는 기능을 하고 있어서, 불필요하게 저장 할 데이터를 줄일 수 있다( 공식문서 )기본 형식은 아래와 같이 loglevel 라는 field 에 대하여 debug라는 문자가 조건문에 걸릴 경우 drop 함수를 통하여 삭제 하게 된다.Drop Filter filter { if [loglevel] == "debug" { drop { } }} client 에서 아래와 같이 access_log를 192.168.10.190 서버의 logstash(5044)로 전송 하도록 구성 하였다.filebeat.yml filebeat.inputs:- type: log enabled: true paths: - /var/log/httpd/httpd-acc..
Logging every shell command to elastic stack
2018. 5. 20. purpose보안이나, 이력 관리를 위하여 bash shell 상에서 입력되는 커맨드들을 로그로 관리 하고 , 해당 로그를 elastic stack 을 통하여 관리 setting/etc/profile 환경 변수에 history_to_syslog 라는 함수를 만들어 모든 커맨드들을 logger 명령어를 이용 하여 local1.notice 로 전달 한다./etc/profilefunction history_to_syslog{ declare command command=$(fc -ln -0) if [ "$command" != "$old_command" ]; then who=$(whoami) cmd=$(history 1) TTY=`tty` HISNAME="`basename $TTY`" ip=`who |grep p..
Elasticsearch5, Logstash5, Kibana5 and Redis (ELKR5 Stack) install CentOS 7
2016. 12. 24. *Stack 구성 1)Logstash: 로그를 받아서 해당 로그를 elasticsearch 로 전달 하는 역할 을 한다. 2)Redis: filebeat 에서 전송한 로그를 redis의 list형태로 저장하여 logstash 로 보내는 mq 의 역할을 한다 3)Elasticsearch : 로그를 저장, 검색 인덱싱 하는 과정을 한다. 4)Kibana: nginx proxy 를 통하여 전달되는 웹인터페이스로 각 로그를 유저가 볼 수 있게 가시화 하는 역할을 한다. 5)Filebeat:각각의 target 이되는 서버는 로그를 filebeat 를 이용하여 logstash 에 로그를 보낸다. 로그를 전달하는 agent 역할을 한다 *설피 필요 패키지 다운 로그 및 시간 동기화 본격적인 설치 과정에 앞서, 설치에..
Elasticsearch5, Logstash5, and Kibana5 (ELK5 Stack) install CentOS 7
2016. 12. 20. *ELK5 Stack Elasticsearch 5.0.0 안정화 버전이 2016년 11월자로 릴리스 되었다. 기존 버전에 비하여 인덱싱 성능이 25~80% 정도 개선 되었으며 새로운 자료 구조를 제공 하고 있다고 한다 또한, es5 릴리스와 함께 kibana,logstash,filebeat 도 동일하게 5 버전으로 릴리스 되었다. 참고 사이트 :https://www.elastic.co/kr/blog/elasticsearch-5-0-0-released * Stack 구성 Stack 구성은 기존 es2 버전과 동일하게 되어있는 구조로 되어 있다. 1)Logstash: 로그를 받아서 해당 로그를 elasticsearch 로 전달 하는 역할 을 한다. 2)Elasticsearch : 로그를 저장, 검색 인덱싱 ..
netflow 데이터를 이용한 elk 설정
2016. 12. 19. *netflow 데이터를 이용한 elk 설정 netflow 는 cisco 가 개발한 네트워크 프로토콜로 전통적인 snmp방식의 모니터링이 아닌 네트워크 상황분석을 위해 좀더 자세한 정보를 수집 분석 할 수 있도록 개발 되었다. netflow를 통해 누가 트래픽을 시작해서 어느 목적지로 보냈는지, 또한 아래와 같이 패킷 샘플링 했을 때의 결과와 비슷한 정보를 수집 할 수 있다. http://cyuu.tistory.com/entry/Cisco-NetflowIOS-%EC%84%A4%EC%A0%95%EA%B3%BC-flowcapture-%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%B6%84%EC%84%9D 해당 페이지에서는 기존의 elk 가 세팅 되어 있는 환경에서 netflow데..
logstash 패턴을 이용한 ELK 파싱(nginx access log,nginx access log + geoip)
2016. 12. 14. * logstash 패턴을 이용한 ELK 파싱 ELK 구성시 logstash 를 통하여 input output 으로 로그를 elasticearch 로 삽입할 경우 filter 를 통하여 해당 로그에서 필요한 부분만 필드로 지정하여 저장 할 수 있는데 이때 사용 되는 것이 pattern 이다. logstash 에서는 Grok를 이용하여 패턴을 관리한다. 기본적으로 %{PATTERN:IDENTIFIER} 형식으로 기본적으로 지정되어 있는 패턴을 식별자로 구분 하여 로그메세지의 여러점을 해당 패턴에 일치 할 경우 해당 식별자로 포함한다. grok 에 대한 정보는 아래 사이트 에서 확인 가능 하다. https://www.elastic.co/guide/en/logstash/current/plugins-filter..
Elasticsearch, Logstash, and Kibana (ELK Stack) install CentOS 7
2016. 12. 14. * Stack 구성 1)Logstash: 로그를 받아서 해당 로그를 elasticsearch 로 전달 하는 역할 을 한다. 2)Elasticsearch : 로그를 저장, 검색 인덱싱 하는 과정을 한다. 3)Kibana: nginx proxy 를 통하여 전달되는 웹인터페이스로 각 로그를 유저가 볼 수 있게 가시화 하는 역할을 한다. 4)Filebeat:각각의 target 이되는 서버는 로그를 filebeat 를 이용하여 logstash 에 로그를 보낸다. 로그를 전달하는 agent 역할을 한다 * Prerequisites 각 서버의 사양은 아래와 같으며, VM 환경으로 진행 되었다. OS:Centos7.2 64bit MEMORY : 4G CPU : L5630 @ 2.13GHz *2cpu ELK STACK ..

티스토리툴바