본문 바로가기

System/Fluentd

Fluent Bit -> Fluentd -> elasticsearch
2018. 6. 9. 1.Fluent Bit? Fluentd와 Fluent Bit 이름에서도 알 수 있는것 처럼 유사한 기능을 하고 있다. 둘다 Treasure Data 에서 제작/후원 하고 데이터 수집을 목적으로 개발 되고 있다.Fluentd가 server 범위에서 사용 된다면 Fluent Bit 는 좀더 경량화 되어 Embedded & IoT devices 같은 범위에서 사용 된다. FluentdFluent BitScopeServersEmbedded & IoT devicesLanguageC & RubyCMemory~20MB~150KBPerformanceHigh PerformanceHigh PerformanceDependenciesBuilt as a Ruby Gem, it requires a certain number of..
Fluentd output for kafka
2017. 9. 30. HostnamePrivate IPCPUMemoryOS패키지 버전CY5192.168.0.205Xeon(R)L5630 @ 2.13GH2GCentos 6.8 64bittd-agent-2.3.5-0.el6.x86_64CY4192.168.0.204Xeon(R)L5630 @ 2.13GH2GCentos 6.8 64bitkafka_2.12-0.11.0.1 # Kafka 로 output 하기 위해서는 별도로 ruby 스크립트를 이용 해야 하며, 인터넷이 되는 환경에서는 내장 되어 있는 gem install 로 쉽게 설치 가능[root@CY5 ~]# /opt/td-agent/embedded/bin/gem install zookeeper[root@CY5 ~]# /opt/td-agent/embedded/bin/gem inst..
Fluentd Overview/ Default install
2017. 9. 30. 1.Fluentd 소개 Fluented는 오픈 소스 데이터 수집기로서, 데이터의 수집과소비 (ouput/input) 최적화된 log aggregator기본 구조는 Flume-NG, Logstash 와 같은 다른 log aggregator 와 유사한 형태로 Input,Buffer,Output 의 형태를 갖는다.기본적으로 C로 구성 되어 있으며, plugin 은 ruby로 구성 되어 있다. 아래와 같이 다양한 형태의 input 을 통하여 다양한 형태의 output 을 제공 한다.지원하는 여러 형태는 https://www.fluentd.org/datasources 통하여 확인 가능 하다. 2.Fluentd 설치 HostnamePrivate IPCPUMemoryOSfluentd 버전 CY5192.168.0.20..

티스토리툴바