将Rsyslog的日志输出到Kafka消息队列

http://www.biglog.org/rsyslog-output-kafka/

Rsyslog8.x版本最大的新特性是：可以支持将日志输出到Kafka。

不过Rsyslog默认是没有开启该模块的，如果想使用就需要在安装Rsyslog时编译进去。源码编译安装Rsyslog的过程是非常麻烦的，需要解决很多依赖问题。

这里不再介绍源码安装的过程了，详情请参照官方文档：http://www.rsyslog.com/doc/install.html。

我们提供另一种思路： 添加Rsyslog官网的repo源，使用yum安装Rsyslog8.x，然后将事先编译的kafka模块文件copy到对应的路径下。

具体操作（Centos环境下）：

1、添加repo源，yum安装Rsyslog8.x

wget -O /etc/yum.repos.d/rsyslog.repo http://rpms.adiscon.com/v8-stable/rsyslog.repo
yum install rsyslog -y

2、复制kafka模块文件（omkafka.so和librdkafka.so.1）到系统的lib路径下

wget -O /lib64/rsyslog/omkafka.so http://update.biglog.org/cep/centos/omkafka.so
wget -O /lib64/librdkafka.so.1 http://update.biglog.org/cep/centos/librdkafka.so.1 chmod +x /lib64/rsyslog/omkafka.so /lib64/librdkafka.so.1

完成以上步骤后，启动rsyslog，就可以通过查看系统日志（/var/log/message）验证kafka模块是否生效。