rsyslog的入库
2015-12-30 09:51
381 查看
今天无意中看到了一篇利用rsyslog 收集 日志并且入库到mysql内 于是乎 就去rsyslog官网看了一下资料(官网地址http://www.rsyslog.com/doc/manual.html) 关于介绍这个上面也有 我这里也不多介绍了 linux系统 默认自带的系统日志软件是syslog 这个大家都知道 它也有日志远程收集功能 rsyslog 我简单了解了下 看到了一个新功能 就是支持将收集的日志入库(支持mysql postgresql)如果想深度了解还是去官网看看吧
下面我们来安装吧 先说下架构吧
一个是日志收集服务器 一个是产生日志的服务器(可以是多个) 需要江一个或者多个服务器产生的日志都统一收集到日志收集服务器上然后入库到mysql数据库内。
rsyslog安装在日志收集服务器内 产生日志的服务器啥都不用安装 利用默认的syslog 就可以把日志推送到日志收集服务器上
在日志收集服务器上安装rsyslog吧 我这里直接yum了 也可以去官网下载源码编译安装 你懂的
yum install rsyslog rsyslog-mysql -y 这样就OK了
安装完后查看一下安装了一些傻文件 rpm -ql rsyslog 剩下的你懂的
然后修改下配置文件 vim /etc/sysconfig/rsyslog 把SYSLOGD_OPTIONS改成下面就行 想知道每个参数是啥意思
运行rsyslogd –help 看看就知道了
SYSLOGD_OPTIONS=”-c2 -r514 -x -m 0″
因为linux默认用的是syslog 启动rsyslog之前把 syslog down了 就行
/etc/init.d/syslog stop && /etc/init.d/rsyslog start
OK 日志收集服务这边就安装配置完了
下面我们去产生日志的服务器上利用系统自动的syslog 把日志推送过来
*.* 这个不用多讲吧 这个是linux系统日志的一些知识 一个是日志级别 一个是消息的紧急程度 下面我截个图吧 这个是来之网上的
这里不是重点 我为了好测试 直接搞了个*.* 如果以后你们想收集什么squid haproxy的日志 手动指定就行
OK 产生日志服务器这边的推送配置也搞完了 下面我们先来简单测试下 日志收集功能吧
logger 这个东西应该有人了解 简单说下
logger 是一个shell 命令接口,可以通过该接口使用Syslog的系统日志模块 http://www.chenqing.org/2012/08/use-logger-logrotate-manage-your-logs.html 这个是我同事写的一个 没事的可以去看下 写得比较详细
在产生日志服务器上运行
然后到日志收集服务器上查看下日志
OK 日志推送功能没问题了 下面弄下 入库吧
这里有个sql文件 需要在mysql数据库内按照他指定的格式弄
我先把mysql起来 然后直接导入进去吧
多了个数据跟2个表
mysql 这块算是搞完了 我们去配置下 rsyslog吧
$ModLoad ommysql 这个你懂的
local7.err
![](http://cdn-151x05v2d2019a0.momentcdn.com/5629ee5795a66e2f1b000018/v%7E0.3.0.0/www.shencan.net/wp-includes/images/smilies/icon_surprised.gif)
mmysql:127.0.0.1,Syslog,root,sc
local7.err 这个就不讲了 上面说了
onmysql 是链接到mysql
127.0.0.1 mysql地址
Syslog mysqldatabase
root 用户
sc 密码
刚才去mysql里面看了一下 select刷屏了 我就用Navicat for MySQL 链接上看的
OK 这里已经入库成功了 。
下面我们来安装吧 先说下架构吧
一个是日志收集服务器 一个是产生日志的服务器(可以是多个) 需要江一个或者多个服务器产生的日志都统一收集到日志收集服务器上然后入库到mysql数据库内。
rsyslog安装在日志收集服务器内 产生日志的服务器啥都不用安装 利用默认的syslog 就可以把日志推送到日志收集服务器上
在日志收集服务器上安装rsyslog吧 我这里直接yum了 也可以去官网下载源码编译安装 你懂的
yum install rsyslog rsyslog-mysql -y 这样就OK了
安装完后查看一下安装了一些傻文件 rpm -ql rsyslog 剩下的你懂的
然后修改下配置文件 vim /etc/sysconfig/rsyslog 把SYSLOGD_OPTIONS改成下面就行 想知道每个参数是啥意思
运行rsyslogd –help 看看就知道了
SYSLOGD_OPTIONS=”-c2 -r514 -x -m 0″
因为linux默认用的是syslog 启动rsyslog之前把 syslog down了 就行
/etc/init.d/syslog stop && /etc/init.d/rsyslog start
OK 日志收集服务这边就安装配置完了
下面我们去产生日志的服务器上利用系统自动的syslog 把日志推送过来
1 | <code>#IP地址为日志收集服务器IP地址 这个你懂的 |
1 | /etc/init.d/syslog restart |
这里不是重点 我为了好测试 直接搞了个*.* 如果以后你们想收集什么squid haproxy的日志 手动指定就行
OK 产生日志服务器这边的推送配置也搞完了 下面我们先来简单测试下 日志收集功能吧
logger 这个东西应该有人了解 简单说下
logger 是一个shell 命令接口,可以通过该接口使用Syslog的系统日志模块 http://www.chenqing.org/2012/08/use-logger-logrotate-manage-your-logs.html 这个是我同事写的一个 没事的可以去看下 写得比较详细
在产生日志服务器上运行
然后到日志收集服务器上查看下日志
OK 日志推送功能没问题了 下面弄下 入库吧
这里有个sql文件 需要在mysql数据库内按照他指定的格式弄
我先把mysql起来 然后直接导入进去吧
多了个数据跟2个表
mysql 这块算是搞完了 我们去配置下 rsyslog吧
1 | vim /etc/rsyslog.conf # |
1 | 添加模块跟配置 |
local7.err
![](http://cdn-151x05v2d2019a0.momentcdn.com/5629ee5795a66e2f1b000018/v%7E0.3.0.0/www.shencan.net/wp-includes/images/smilies/icon_surprised.gif)
mmysql:127.0.0.1,Syslog,root,sc
local7.err 这个就不讲了 上面说了
onmysql 是链接到mysql
127.0.0.1 mysql地址
Syslog mysqldatabase
root 用户
sc 密码
刚才去mysql里面看了一下 select刷屏了 我就用Navicat for MySQL 链接上看的
OK 这里已经入库成功了 。
相关文章推荐
- Best Practices for Speeding Up Your Web Site--如何加速你的网站访问性能
- 归档模式下redo丢失或损坏(active状态)
- 【学习】Android代码混淆与反编译
- 23123
- php中计算二维数组中某一元素之和
- 让旧浏览器支持HTML5新增标签
- [ActionScript 3.0] AS3 实现XML转换成JSON
- Flume HDFS Sink使用及源码分析
- [转]#ifdef中的逻辑与或操作
- CC2530 wireshark抓包 sniffer分析6lowpan RPL路由神器
- ARM嵌入式系统开发(在线视频)
- iOS开发笔记8:Remote Notification远程消息推送处理
- 三伯娘
- 广义表
- cookies session filter 自动登录
- CodeSmith Generator 6.5
- JSON 序列化与弱类型
- Eclipse远程调试JAVA程序
- Android和JavaScript相互调用的方法
- C++访问ORACLE数据库