본문 바로가기

전체 글

consumer group
2018. 7. 8. producer 는 여러개의 partioning 되어 있는 topic으로 message 를 전송 하기 때문에 다른 message system 보다 message를 빠르게 처리 할 수 있다. 하지만 분할 되어 있는 topic을 가져 올때는 1개의 cosumer가 처리 한다면 pull하는 속도가 느릴 수 밖에 없다. 그래서 kafka에서는 cosumer group 을 통하여 각각 partition에 대하여 cousmer를 지정 하여 그룹화 함으로 빠른 속도를 보장 함과 함께 데이터 손실을 방지 할 수 있도록 한다.아래 그림 처럼 3개의 partion에 대하여 cosumer group 에 2개의 consumer가 동작 하여 분산하여 데이터를 수신 할 수 있다.이때 1개의 partition에 대하여 1개의 co..
kafka manager
2018. 7. 8. kafka manager ?Kafka 를 CLI 환경에서 운영을 할 수 있지만, 대세는 웹 GUI환경이다. 하지만, kafka 자체적으로 웹 GUI환경을 제공하지 않고 있다. 그래서 yahoo 에서 자체적으로 운영 하던 kafka manager 라는 웹GUI를 오픈소스로 공개 하였으며, 실제로 많은 Kafka운영에서 적용되고 있다.kafka manager를 통하여 클러스터 상태를확인 하고 여러가지 운영에 필요한 기능을 웹GUI환경에서 설정 할 수 있도록 도와 주고 있다.https://github.com/yahoo/kafka-manager kafka manager install 가장 최신 버전으로 릴리즈된 1.3.3.18 버전 다운로드하여 진행 한다.*JAVA-HOME 환경 변수 설정이 사전에 설정 Dow..
kafka partition, replication(ISR)
2018. 7. 7. Why Kafka?Multiple Producers/Consumers. 하나의 topic에 대하여 여러 Producers 가 message 를 전송하고 여러 Consumers 가 message 를 소비하는 구조로 주아앙 집중형 구조로 구성 Disk-Based Retention . 다른 message system과 틀리게 일정 기간동안 디스크에 message를 저장 -> 메시지의 손실을 방지 Scalable . kafka cluster를 통하여 확장이 매우 용이 하게 설계 High Performance . 분산처리 - 동일한 기능을 하는 여러대의 서버로 이뤄진 분산 시스템으로 구성되어, 단일 시스템보다 더 높은 성능을 얻으며, SPOF 극복 . 배치 처리 - 작은 i/o 에 대하여 묶어서 처리 하여 속도 ..
zookeeper-kafka cluster install
2018. 7. 7. 0. 사전작업 테스트 환경은 아래와 같다.hostnameip addressresourcekafka-01172.16.194.24memory: 8G hdd:50Gkafka-02172.16.194.12memory: 8G hdd:50Gkafka-03172.16.194.16memory: 8G hdd:50G*사내오픈스택 구성 Kafka cluester 를 구성 하기 위한 ZooKeeper,kafka 모두 java기반으로 동작 하기 위해서 아래와 같이 jdk를 모든 노드에 설치 한다.openjdk install(ALL NODE)yum install java-1.8.0-openjdk.x86_64 -yjava -version openjdk version "1.8.0_171" OpenJDK Runtime Environme..
Fluent Bit -> Fluentd -> elasticsearch
2018. 6. 9. 1.Fluent Bit? Fluentd와 Fluent Bit 이름에서도 알 수 있는것 처럼 유사한 기능을 하고 있다. 둘다 Treasure Data 에서 제작/후원 하고 데이터 수집을 목적으로 개발 되고 있다.Fluentd가 server 범위에서 사용 된다면 Fluent Bit 는 좀더 경량화 되어 Embedded & IoT devices 같은 범위에서 사용 된다. FluentdFluent BitScopeServersEmbedded & IoT devicesLanguageC & RubyCMemory~20MB~150KBPerformanceHigh PerformanceHigh PerformanceDependenciesBuilt as a Ruby Gem, it requires a certain number of..
Docker init 를 이용한 Defunct Processes in Docker 해결
2018. 5. 26. Defunct Processes in Docker ?Docker container를 이용하여 서비스 중인 호스트에서 아래와 같이 지속적으로 Defunct Processes(=좀비프로세스) 가 상승 하는 이슈가 발생 하였다. 아래와 같이 프로세스들이 상태로 유지 되고 있는 것을 볼 수있다.사실 docker 환경과 같이 isolation되어 있는 환경이 아니라면 부모 프로세스를 kill 한다면 해결 될 수 있지만,docker 환경에서 해당 상태의 ppid 는 1 이라는 pid로 해당container 가 실행되는 프로세스이다.즉, 해당 pid를 kill 할 경우 해당 docker 도 종료 된다.container내부에서 프로세스 [root@controller02 zabbix]# ps auxfUSER PID %C..
Logging every shell command to elastic stack
2018. 5. 20. purpose보안이나, 이력 관리를 위하여 bash shell 상에서 입력되는 커맨드들을 로그로 관리 하고 , 해당 로그를 elastic stack 을 통하여 관리 setting/etc/profile 환경 변수에 history_to_syslog 라는 함수를 만들어 모든 커맨드들을 logger 명령어를 이용 하여 local1.notice 로 전달 한다./etc/profilefunction history_to_syslog{ declare command command=$(fc -ln -0) if [ "$command" != "$old_command" ]; then who=$(whoami) cmd=$(history 1) TTY=`tty` HISNAME="`basename $TTY`" ip=`who |grep p..
Ceph zabbix plugin
2018. 5. 18. Ceph zabbix plugin?ceph luminous 이전 까지는 ceph 를 외부에서 모니터링 하기 위해서 ceph-api 를 이용 하여 모니터링를 진행 했지만, ceph luminous 부터는 다양한 plugin형태로 모니터링을 진행 할 수 있도록 한다.(일부 api는 변경 되거나, mon 부분은 아예... 안보임)지금 이야기할 zabbix plugin 외에도 Prometheus,Telegraf ,influx plugin 등을 지원 하며 zabbix plugin 은 아래와 같은 요소를 모니터링 할 수 있도록 도와 준다.Ceph statusI/O operationsI/O bandwidthOSD statusStorage utilization Ceph zabbix plugin enable/ setti..
Openstack LBaaS
2018. 5. 12. LBaaS개요Neutron 은 NeutronAPI 통하여 기존 Neutron 기능을 확장 가능한 플리그인 메커니즘을 가지고 있다.대표적으로 Neutron LBaaS(Load-Balancer-as-a-Service,이하 LBaaS) 는 Load-Balancer 기능을 제공 하며, NeutronAPI 를 통하여 기능을 구현한다.기본적으로 Load-Balancer 기능은 LBaaS agent 데몬으로 작동 되며 해당 데몬은 haproxy 기반으로 Load-Balancer 기능을 제공 하고 있다.LBaaS v1 과 LBaaS v2 로 버전이 있으며 LBaaS v1는 openstack 릴리즈 Newton 에서 삭제 되어 지금은 기본적으로 LBaaS v2로 작동한다.(공식적으로 LBaaS v1 에서 LBaaS v2..
Openstack token provider(fernet)
2018. 5. 7. Oepnstack Ocata 릴리즈 부터 기본적으로 fernet token 을 기본 토큰 프로바이더로 사용 되고 있다. 기존에 사용 하고 있던 UUID는 스토리지 공간 문제와 네트워크 트래픽 문제가 있으며, UUID를 대체하고자 나온 PKI/PKIZ는 큰 공유 캐시 문제와 UUID 보다 느린 성능으로 Ocata 릴리즈에서 아예 제거 되었다. fernet은 대칭키 암호 인증 방식으로 , 암호화와 복호화에 동일한 키를 사용 한다. Openstack kilo 릴리즈에서 도입 되어 Ocata 릴리즈 부터 기본 token provider 로 지정 되었다. 또한, 다중키를 사용 하여 첫번째(현재키: Primary key)를 사용 하고 다른키(이전키: Secondary Key 및 준비키:Staged Key)를 이용 ..
Elastic stack zabbix 연동
2018. 3. 17. Zabbix는 기본적으로 rdbms 에 모든 metric, log 등을 타입에 따라서 history 형태로 저장 하고 있음ES 에 저장 하기 위해서 아래 표와 같은 형태로 index 를 생성 해줘야 한다. Item value typeDatabase tableElasticsearch type Numeric (unsigned)history_uintuint Numeric (float)historydbl Characterhistory_strstr Loghistory_loglog Texthistory_texttext Crul을 이용 하여 위 표에 지정된 index 생성 # curl -X \PUT http://localhost:9200/text \ -H 'content-type:application/json' \-..
CentOS LVM (Logical Volume Manager) basic management
2018. 1. 14. 0.LVM LVM 은 Logical Volume Manager 의 약자로서, 저장장치들을 좀더 효율적이고 유연하게 관리할 수 있는 커널의 부분과 프로그램을 말한다.LVM 장점을 아래와 같다. 쉬운 관리서로 다른 많은 디바이스 조합 지원직관적인 저장 장치로의 접근뛰어난 확장성믿을만한 안전성과 효율스냅샷 기능 지원 VG(Volume Group)은 LVM의 가장 기본적인 구성 요소 이며, 말 그대로 가상 디스크라고 할 수 있는데,하나 이상의 실제 물리적으로 존재하는 블록 디바이스가 모여서 VG를 구성 한다.PV(Physical Volume)는 그 물리적인 블록 디바이스로서 , 거의 대부분의 장치를 PV로 쓸 수 있다.PV와 대비되는 것이 LV(Logical Volume)로서 가상 파티션이라고도 할 수 있는데,..

티스토리툴바