본문 바로가기

Kafka

kafka manager
2018. 7. 8. kafka manager ?Kafka 를 CLI 환경에서 운영을 할 수 있지만, 대세는 웹 GUI환경이다. 하지만, kafka 자체적으로 웹 GUI환경을 제공하지 않고 있다. 그래서 yahoo 에서 자체적으로 운영 하던 kafka manager 라는 웹GUI를 오픈소스로 공개 하였으며, 실제로 많은 Kafka운영에서 적용되고 있다.kafka manager를 통하여 클러스터 상태를확인 하고 여러가지 운영에 필요한 기능을 웹GUI환경에서 설정 할 수 있도록 도와 주고 있다.https://github.com/yahoo/kafka-manager kafka manager install 가장 최신 버전으로 릴리즈된 1.3.3.18 버전 다운로드하여 진행 한다.*JAVA-HOME 환경 변수 설정이 사전에 설정 Dow..
kafka partition, replication(ISR)
2018. 7. 7. Why Kafka?Multiple Producers/Consumers. 하나의 topic에 대하여 여러 Producers 가 message 를 전송하고 여러 Consumers 가 message 를 소비하는 구조로 주아앙 집중형 구조로 구성 Disk-Based Retention . 다른 message system과 틀리게 일정 기간동안 디스크에 message를 저장 -> 메시지의 손실을 방지 Scalable . kafka cluster를 통하여 확장이 매우 용이 하게 설계 High Performance . 분산처리 - 동일한 기능을 하는 여러대의 서버로 이뤄진 분산 시스템으로 구성되어, 단일 시스템보다 더 높은 성능을 얻으며, SPOF 극복 . 배치 처리 - 작은 i/o 에 대하여 묶어서 처리 하여 속도 ..
zookeeper-kafka cluster install
2018. 7. 7. 0. 사전작업 테스트 환경은 아래와 같다.hostnameip addressresourcekafka-01172.16.194.24memory: 8G hdd:50Gkafka-02172.16.194.12memory: 8G hdd:50Gkafka-03172.16.194.16memory: 8G hdd:50G*사내오픈스택 구성 Kafka cluester 를 구성 하기 위한 ZooKeeper,kafka 모두 java기반으로 동작 하기 위해서 아래와 같이 jdk를 모든 노드에 설치 한다.openjdk install(ALL NODE)yum install java-1.8.0-openjdk.x86_64 -yjava -version openjdk version "1.8.0_171" OpenJDK Runtime Environme..
Kafka Default install test
2017. 9. 30. 1.서버 환경 구성 HostnamePrivate IPCPUMemoryOSCY3192.168.0.203Xeon(R)L5630 @ 2.13GHz2GCentos 6.8 64bitCY4192.168.0.204Xeon(R)L5630 @ 2.13GH2GCentos 6.8 64bitCY5192.168.0.205Xeon(R)L5630 @ 2.13GH2GCentos 6.8 64bit※ VM ware nat interface 환경 2.환경 설정 # 모든 node에 각 hostname 과 ip 를 hosts 파일에 추가 [root@CY4 ~]# echo " 192.168.0.203 CY3" >> /etc/hosts[root@CY4 ~]# echo " 192.168.0.204 CY4" >> /etc/hosts[root@CY4..

티스토리툴바