본문 바로가기

CyuuTech

Elasticsearch5, Logstash5, Kibana5 and Redis (ELKR5 Stack) install CentOS 7
2016. 12. 24. *Stack 구성 1)Logstash: 로그를 받아서 해당 로그를 elasticsearch 로 전달 하는 역할 을 한다. 2)Redis: filebeat 에서 전송한 로그를 redis의 list형태로 저장하여 logstash 로 보내는 mq 의 역할을 한다 3)Elasticsearch : 로그를 저장, 검색 인덱싱 하는 과정을 한다. 4)Kibana: nginx proxy 를 통하여 전달되는 웹인터페이스로 각 로그를 유저가 볼 수 있게 가시화 하는 역할을 한다. 5)Filebeat:각각의 target 이되는 서버는 로그를 filebeat 를 이용하여 logstash 에 로그를 보낸다. 로그를 전달하는 agent 역할을 한다 *설피 필요 패키지 다운 로그 및 시간 동기화 본격적인 설치 과정에 앞서, 설치에..
Elasticsearch5, Logstash5, and Kibana5 (ELK5 Stack) install CentOS 7
2016. 12. 20. *ELK5 Stack Elasticsearch 5.0.0 안정화 버전이 2016년 11월자로 릴리스 되었다. 기존 버전에 비하여 인덱싱 성능이 25~80% 정도 개선 되었으며 새로운 자료 구조를 제공 하고 있다고 한다 또한, es5 릴리스와 함께 kibana,logstash,filebeat 도 동일하게 5 버전으로 릴리스 되었다. 참고 사이트 :https://www.elastic.co/kr/blog/elasticsearch-5-0-0-released * Stack 구성 Stack 구성은 기존 es2 버전과 동일하게 되어있는 구조로 되어 있다. 1)Logstash: 로그를 받아서 해당 로그를 elasticsearch 로 전달 하는 역할 을 한다. 2)Elasticsearch : 로그를 저장, 검색 인덱싱 ..
netflow 데이터를 이용한 elk 설정
2016. 12. 19. *netflow 데이터를 이용한 elk 설정 netflow 는 cisco 가 개발한 네트워크 프로토콜로 전통적인 snmp방식의 모니터링이 아닌 네트워크 상황분석을 위해 좀더 자세한 정보를 수집 분석 할 수 있도록 개발 되었다. netflow를 통해 누가 트래픽을 시작해서 어느 목적지로 보냈는지, 또한 아래와 같이 패킷 샘플링 했을 때의 결과와 비슷한 정보를 수집 할 수 있다. http://cyuu.tistory.com/entry/Cisco-NetflowIOS-%EC%84%A4%EC%A0%95%EA%B3%BC-flowcapture-%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%B6%84%EC%84%9D 해당 페이지에서는 기존의 elk 가 세팅 되어 있는 환경에서 netflow데..
JVM APM pinponit 1.6 install
2016. 12. 18. 1.JDK 설치 (오라클 사이트에서 직접 다운로드후 진행) # pinpoint 설치를 위해 6,7,8 버전 모두 설치 진행 해야함 [root@CY7 src]#yum install lrzsz -y [root@CY7 src]#cd /usr/local/src/ [root@CY_PIN src]# rz rz waiting to receive. Starting zmodem transfer. Press Ctrl+C to cancel. Transferring jdk-6u45-linux-x64-rpm.bin... 100% 67266 KB 4484 KB/sec 00:00:15 0 Errors Transferring jdk-7u79-linux-x64.rpm... 100% 134846 KB 4494 KB/sec 00:00:3..
logstash 패턴을 이용한 ELK 파싱(nginx access log,nginx access log + geoip)
2016. 12. 14. * logstash 패턴을 이용한 ELK 파싱 ELK 구성시 logstash 를 통하여 input output 으로 로그를 elasticearch 로 삽입할 경우 filter 를 통하여 해당 로그에서 필요한 부분만 필드로 지정하여 저장 할 수 있는데 이때 사용 되는 것이 pattern 이다. logstash 에서는 Grok를 이용하여 패턴을 관리한다. 기본적으로 %{PATTERN:IDENTIFIER} 형식으로 기본적으로 지정되어 있는 패턴을 식별자로 구분 하여 로그메세지의 여러점을 해당 패턴에 일치 할 경우 해당 식별자로 포함한다. grok 에 대한 정보는 아래 사이트 에서 확인 가능 하다. https://www.elastic.co/guide/en/logstash/current/plugins-filter..
Elasticsearch, Logstash, and Kibana (ELK Stack) install CentOS 7
2016. 12. 14. * Stack 구성 1)Logstash: 로그를 받아서 해당 로그를 elasticsearch 로 전달 하는 역할 을 한다. 2)Elasticsearch : 로그를 저장, 검색 인덱싱 하는 과정을 한다. 3)Kibana: nginx proxy 를 통하여 전달되는 웹인터페이스로 각 로그를 유저가 볼 수 있게 가시화 하는 역할을 한다. 4)Filebeat:각각의 target 이되는 서버는 로그를 filebeat 를 이용하여 logstash 에 로그를 보낸다. 로그를 전달하는 agent 역할을 한다 * Prerequisites 각 서버의 사양은 아래와 같으며, VM 환경으로 진행 되었다. OS:Centos7.2 64bit MEMORY : 4G CPU : L5630 @ 2.13GHz *2cpu ELK STACK ..
pptpd/xl2tpd vpn with freeradius2 install
2016. 8. 26. 1.설치 환경 OS : CentOS 6.8 64bit Public IP : 192.168.0.101 DB: mysql 5.6.31 (root/12345) SELINUX : disabled HOSTNAME: mha1 2.PPTP 설치 ## epel repolist 추가 및 yum update 진행 [root@mha1 ~]# yum install epel* -y [root@mha1 ~]# yum update -y ## ppp,pptp등 pptp관련 패키지 다운 설치 진행 [root@mha1 ~]# yum install libpcap -y [root@mha1 ~]# rpm -Uvh http://poptop.sourceforge.net/yum/stable/rhel6/pptp-release-current.noar..
Mysq-5.6 MHA 구성
2016. 8. 15. ###### Mysql MHA 구성 ################## 0) 환경 구성 - 아이피 구성master : 192.168.0.111 (hostnamae: mha1)slave : 192.168.0.112 (hostnamae: mha2)slave(mon) : 192.168.0.113 (hostnamae: mha3) - OS : centos 6.8 64bit 1) mysql 설치 (모든 node 동일) echo "192.168.0.111 mha1" >> /etc/hostsecho "192.168.0.112 mha2" >> /etc/hostsecho "192.168.0.113 mha3" >> /etc/hosts yum install gcc.x86_64 gcc-c++.x86_64 wget.x86_64 b..
pt-table-checksum,sync 를 통한 mysql replication sync 체크 및 조절
2016. 6. 5. mysql replication sync 체크 및 조절 기본적으로 mysql replication 운영시 master 와slave (혹은 master) 간의 데이터의 sync 가 맞지 않거나 깨지는 경우가 있다. 이럴때 mysql 에서 기본적으로 제공하는 tool 이 아닌pt-table-checksum을 이용하여 checksum 을 비교 틀린 부분을 체크하고 틀린 부분에 대하여 pt-table-sync 를 이용하여 조절 할 수 있다. * TSET환경 hostname IP OS DB node202 192.168.110.202 centos 7.2 64bit mysql 5.6.30 master node node203 192.168.110.203 centos 7.2 64bit mysql 5.6.30 slave ..
Mysql 5.7 replication (Master-Slave) on Centos7
2016. 6. 4. Mysq repalication(Master-slave)Myql 은 데이터의 Slace-out 과 데이터의 안정성을 위하여 replication 을 지원 한다. 기본적인 master slave 구조는 master 에서 데이터에 대하여 read/write ,salve 에서는 read 만 하는구조로서 아래 그림과 같이 master 에서 DB에 바이너리 로그를 생성후 바이너리 로그 덤프 쓰레드에 의하여 slave 로 전달 되고 slave 에서는 I/O쓰레드에 의하여 릴레이 로그로 저장 된다 . 이 릴레이 로그는 SQL쓰레드의 의하여 DB에 반영 된다.이러한 3개의 쓰레드에 의하여 replication 이 구성된다. 전통적인 replication 은 기본적으로 비동기 방식으로 진행 된다. 즉 master 에서 ..
centos7 mysql 5.6 install
2016. 6. 4. ## OS : Centos 7.2 64bit (CentOS Linux release 7.2.1511 (Core) ) ## Mysql version : 5.6.30 ## mysql 설치시 의존성에 걸리는 패키지를 yum 으로 설치 진행 한다. [root@node202 src]#yum install -y wget cmake.x86_64 ncurses-devel.x86_64 gcc gcc-c++ perl-Module-Install.noarch ## mysqld 가 사용할 유저와 해당 그룹을 생성 한다. [root@node202 ~]# groupadd mysql [root@node202 ~]# useradd -M -g mysql mysql ## /usr/local/src 디렉토리에 mysql 파일 다운로드 진행..
HTTP CC ATTACK 패킷 ,iptable 를 이용한 drop
2016. 5. 29. HTTP CC ATTACK 일반적으로 HTTP의 해더옵션중 Cache-Control 을 이용하여, 웹트랜잭션의 효율성을 위해서 해당 옵션을 사용 한다.예를 들어 ssl 통신시 cache 되지 않게 하는등 여러가지로 사용 되지만, 악용 되어 cache 되지 않게 옵션을 설정 되어 http get flooding 보다 더 많은 부하를 발생 시킨다. HTTP CC ATTACK 은 한국이나 중국 에서 많이 사용 되는 용어로 정확한 명칭은 아님. Cache-Control 중 가장 많이 공격에 사용되는 지시자 옵션은 no-store,must-revalidate 옵션으로 오는 형태가 가장 대표적이다. no-store 는 해당 reponse 데이터를 저장 하지 않으며, ,must-revalidate는 캐시에 대한 재검..

티스토리툴바