본문 바로가기

전체 글

TCP Keepalive 를 통한 연결 유지
2017. 11. 23. TCP 연결은 UDP 와 틀리게 신뢰성 보장을 위하여 3way handshake 를 통하여 연결 수립후 established 상태가 되어 데이터를 주고 받은뒤 4way handshake 과정을 통하여 연결을 종료 한다. 이처럼 연결 수립,종료 과정에 모두 서로 간 협상 과정을 거치는데 종료시 한쪽이 정상적으로 종료 되지 않을 경우 UDP 와 다를 것이 없다. TCP 는 이를 보안 하고자 Keepalive 를 이용하여 연결상태를 확인 하여 능동적으로 세션을 종료 한다. 명칭상 네트워크 장비간 전기적 신호로 keepalive통하여 상태를 확인 하거나, nginx/apache 등 에서 사용 하는 keepalive 와 기본적인 기능 자체는 유사 하지만 세부적으로는 틀린 부분이 있어서 정리 하였다. TCP 연결되..
Time_Wait 원인과 tcp_tw_reuse 활용
2017. 11. 22. Unix/Linux 서버를 관리 하다 보면 수많은 TIME_WAIT 가 발생 하는 경우가 있다. TIME_WAIT는 연결 종료시 발생 되는데, 이것이 정상인지,비정상인지 혹은 시스템 부하에 영향을 미치는지 잘 모르는 경우가 있어 이번 기회에 정리 하기로 하였다. 아래와 같이 User가 Web 서버에 http 문서를 요청 하는 과정을 tcpdump 를 통하여 덤프 한뒤 패킷을 확인 하였다. 해당 패킷을 wireshark를 이용하여 확인 하면 아래와같이 3way handshake 를 통하여 연결된 서버와 클라이언트가 연결 수립하여 데이터를 수신한뒤 클라이언트(192.168.100.102)는 더이상의 요청이 없음으로 연결을 종료 하기 위해서 웹서버로 FIN flag 로 된 tcp 세그먼트를 전송 하고 서버는 ..
tshark 를 통한 MySQL 쿼리 확인
2017. 10. 29. Mysql 서버를 관리하면서 기본적인 모니터링을 한다고 하여도, 비정상적인 쿼리에 대하여 추적 하기 위해서 스니핑을 진행 한다.바이너리 로그를 하나씩 분석 한다고 하여도 시간이나, 효율적인 부분에서 떨어 진다. 그렇기 때문에 스니핑을 통하여 쿼리를 분석 하기도 한다. 일반적으로 tcpdump 를 이용한다면 아래와 같은 형태로 분석한다. [root@CY2 ~]# tcpdump -i lo -s 0 -l -w - dst port 3306 | strings | perl -e ' while() { chomp; next if /^[^ ]+[ ]*$/; if(/^(SELECT|UPDATE|DELETE|INSERT|SET|COMMIT|ROLLBACK|CREATE|DROP|ALTER)/i) { if (defined $q..
Strace (linux trace system calls and signals)
2017. 10. 8. 1.Strace ? strace는 Linux상에서 실행프로그램에 호출되거나 받은 시스템콜을 추적 하는 디버깅 툴이다.python, luby 등과 같은 스크립트 언어들은 사람이 직관적으로 소스를 보면서 문제점을 파악하기 쉽지만소스코드가 없고 프로그램 실행만 되어 있는 프로그램의 호출되거나 받은 시스템콜을 추적 하여 문제점을 파악하기 위한좋은 정보를 얻을 수 있다. 실제로 실무에서 응용프로그램에 대하여 strace 로, 네트워크 상으로는 tcpdump(or tshrark ) 를 이용하여 문제점을 추적하는데 소요되는 시간을 줄일 수 있었다. 2.Strace 사용 방법 아래와 같이 특정 명령어(binary)를 실행 하면 해당 system call 과정을 추적 할 수 있다.간단하게 구조를 보면 execve,mma..
postgresql93+Postgis install from CentOS6
2017. 10. 4. Geoserver 구축시 공간 데이터베이스는 데이터베이스 안에 도형 레코드들을 저장할 수 있을 뿐만 아니라 이 도형들을 이용해서 레코드를 쿼리하거나 추출할 수 있는 기능도 제공합니다.. postgresql 설치를 진행 하고 해당 확장 모듈을 설치 하는 방법을 설명 하겠습니다. #postgresql 9.3 Repo rpm 파일 설치 후 postgresql9.3 Server 설치 및, init db 를 통하여 DB초기화를 진행 [root@localhost ~]#rpm -Uvh http://yum.postgresql.org/9.3/redhat/rhel-6-x86_64/pgdg-centos93-9.3-2.noarch.rpm[root@localhost ~]#yum install postgresql93-server..
Centos NIC ring buffer size 조절
2017. 10. 1. 리눅스에서는 패킷 송수신시 1계층 물리적 케이블을 통하여 NIC로 packet이 수신 되면 가장 먼저 Ring Buffer 라는 영역에 보관한 뒤에처리 된다. # Ring Buffer (Circular buffer) 구조 - FIFO 기반의 일반적인 선형 큐의 메모리가 꽉 차게되면 Overflow가 발생 하지만 원형(환형)의 형태로 머리와 꼬리?가 붙어 있는 형태의 큐를 구성 하여 dropped 되어 유실되는 packet 을 방지 한다. 참조사이트 : https://en.wikipedia.org/wiki/Circular_buffer 기본적으로 ethtool -g 명령어로 확인이 가능하다. # ethtool -g 명령어의 man-g --show-ring :Queries the specified networ..
Fluentd output for kafka
2017. 9. 30. HostnamePrivate IPCPUMemoryOS패키지 버전CY5192.168.0.205Xeon(R)L5630 @ 2.13GH2GCentos 6.8 64bittd-agent-2.3.5-0.el6.x86_64CY4192.168.0.204Xeon(R)L5630 @ 2.13GH2GCentos 6.8 64bitkafka_2.12-0.11.0.1 # Kafka 로 output 하기 위해서는 별도로 ruby 스크립트를 이용 해야 하며, 인터넷이 되는 환경에서는 내장 되어 있는 gem install 로 쉽게 설치 가능[root@CY5 ~]# /opt/td-agent/embedded/bin/gem install zookeeper[root@CY5 ~]# /opt/td-agent/embedded/bin/gem inst..
Fluentd Overview/ Default install
2017. 9. 30. 1.Fluentd 소개 Fluented는 오픈 소스 데이터 수집기로서, 데이터의 수집과소비 (ouput/input) 최적화된 log aggregator기본 구조는 Flume-NG, Logstash 와 같은 다른 log aggregator 와 유사한 형태로 Input,Buffer,Output 의 형태를 갖는다.기본적으로 C로 구성 되어 있으며, plugin 은 ruby로 구성 되어 있다. 아래와 같이 다양한 형태의 input 을 통하여 다양한 형태의 output 을 제공 한다.지원하는 여러 형태는 https://www.fluentd.org/datasources 통하여 확인 가능 하다. 2.Fluentd 설치 HostnamePrivate IPCPUMemoryOSfluentd 버전 CY5192.168.0.20..
Kafka Default install test
2017. 9. 30. 1.서버 환경 구성 HostnamePrivate IPCPUMemoryOSCY3192.168.0.203Xeon(R)L5630 @ 2.13GHz2GCentos 6.8 64bitCY4192.168.0.204Xeon(R)L5630 @ 2.13GH2GCentos 6.8 64bitCY5192.168.0.205Xeon(R)L5630 @ 2.13GH2GCentos 6.8 64bit※ VM ware nat interface 환경 2.환경 설정 # 모든 node에 각 hostname 과 ip 를 hosts 파일에 추가 [root@CY4 ~]# echo " 192.168.0.203 CY3" >> /etc/hosts[root@CY4 ~]# echo " 192.168.0.204 CY4" >> /etc/hosts[root@CY4..
docker 이미지를 이용한 tomcat war 파일 deploy
2017. 8. 15. 기본적으로 docker hub 를 통하여 tomcat image를 확인 한 뒤 pull 한다. # docker search tomcatNAME DESCRIPTION STARS OFFICIAL AUTOMATEDtomcat Apache Tomcat is an open source implementa... 1448 [OK] # docker pull tomcat latest: Pulling from tomcat8ee7f64d0d9f: Pull complete.. 생략..70b2ded797df: Pull completeDigest: sha256:15e0b943137b81f0111b4c4e6ce070ce34910f4eed55ebfaeb642afe72f14c75Status: Downloaded newer image ..
오프라인 환경의 docekr image save/load
2017. 8. 15. 내부망 환경 혹은 internet 이 불가능 하여 docker hub 또는tumtum 과 같은 사설 호스팅를 이용 못하는 경우 생성 혹은 외부 docker hub 등 통하여 pull 한 image 를간단하게 save / load 가능 하다 외부 pull 이 가능한 환경에서 생성 변경한 이미지를 확인 한다. (해당 이미지는 tomcat 이 설치된 간단한 이미지로 테스트)# docker imagesREPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZEcy_img 1.0 add6975cb669 45 hours ago 356.9 MB docker save 옵션을 통하여 tar 로 묶고 파일을 확인 한다.# docker save cy_img:1.0 > /tmp/cy_img_1.0.tar#..
CentOS 7 OvpenVpn Oracle Freeradius 연동
2017. 7. 29. 1.FreeRadius 설치 및 rlm_sql_oracle module 설치 -기본적으로 rpm 혹은 yum 으로 바로 설치 가능 하나, oracle 연동 모듈을 설치 하기 위해서 ㅅ소스컴파일이 필요함 (freeradius3 이 가장 최신 안정화 버전이나, openvpn 연동을 위해서는freeradius2 를 설치 해야함)#cd /usr/local/src# wget ftp://ftp.freeradius.org/pub/freeradius/freeradius-server-2.2.10.tar.gz#tar xvzf freeradius-server-2.2.10.tar.gz# cd freeradius-server-2.2.10/ -바로 설치시 연동이 정상적으로 불가능 하며, 아래와 같이 configure.in파일을 ..

티스토리툴바