Fluentd（td-agent）安装

一：安装

（1）下载td-agent-2.2.1-0.el6.x86_64.rpm,下载地址:https://td-agent-package-browser.herokuapp.com/2/redhat/6/x86_64

 下载安装包到到 

/export/installer/文件夹下，安装.

 安装后的目录为/etc/td-agent.

  （2）touch /dev/shm/record.log
用于log_generator 输出日志信息的文件

     （3）编辑td-agent.conf

<source>
type   kafka
host   192.168.179.18
port   9092
topics test
format json
interval 10
# socket_timeout_ms 30000
# add_prefix <tag prefix (Optional)>
# add_suffix <tag suffix (Optional)>
# max_bytes           (integer)    :default => nil (Use default of Poseidon)
# max_wait_ms         (integer)    :default => nil (Use default of Poseidon)
# min_bytes           (integer)    :default => nil (Use default of Poseidon)
# socket_timeout_ms   (integer)    :default => nil (Use default of Poseidon)
</source>

<match test>
type copy
<store>
type elasticsearch
index_name fluentd
type_name fluentd-type
logstash_format true
logstash_prefix fluentd-grabbed
host 192.168.179.18
port 9200
flush_interval 1s
</store>

# For debug
<store>
type file
path /tmp/copy.log
append true
buffer_type memory
flush_interval 1s
</store>
</match>

（4）连接ES

首先要安装 

fluent-plugin-elasticsearch

 插件,是
ruby gem 形式,安装机器不能连外网，可以参考我的另一篇文件关于离线安装fluent-plugin-kafka插件.

下载

fluent-plugin-elasticsearch

 插件所需的依赖到同一个目录下。

插件列表如下：：

elasticsearch-1.0.12.gem
elasticsearch-api-1.0.12.gem
elasticsearch-transport-1.0.12.gem
excon-0.45.4.gem
faraday-0.9.1.gem
fluent-plugin-elasticsearch-1.0.0.gem
multi_json-1.11.2.gem
multipart-post-2.0.0.gem

  然后gem install 命令如下

/opt/td-agent/

embedded/bin/gem install
fluent-plugin-elasticsearch-1.0.0.gem

(5)安装fluent-plugin-kafka插件.

下载fluent-plugin-kafka所需依赖插件，见我的另一篇文件关于离线安装fluent-plugin-kafka插件。

下载后的插件列表如下：

cool.io-1.3.1.gem

fluentd-0.12.15.gem

fluent-plugin-kafka-0.0.15.gem

http_parser.rb-0.6.0.gem

json-1.8.3.gem

ltsv-0.1.0.gem

msgpack-0.5.12.gem

poseidon-0.0.5.gem

sigdump-0.2.3.gem

string-scrub-0.0.5.gem

thread_safe-0.3.5.gem

tzinfo-1.2.2.gem

tzinfo-data-1.2015.6.gem

yajl-ruby-1.2.1.gem

zookeeper-1.4.10.gem

然后gem install命令如下：

/opt/td-agent/embedded/bin/gem install fluent-plugin-kafka-0.0.15.gem

（5）启动td-agent

service td-agent start