跨平台日志清理工具 Log-Cutter v2.0.1 正式发布

Log-Cutter 是JessMA开源组织开发的一个简单实用的日志切割清理工具。对于服务器的日常维护来说，日志清理是非常重要的事情，如果残留日志过多则严重浪费磁盘空间同时影响服务的性能。如果用手工方式进行清理，会花费太多时间，并且很多时候难以满足实际要求。例如：如何在每个星期六凌晨3点把超过 2G 大的日志文件进行切割，保留最新的 100M 日志记录？ 网上没有发现能满足本座要求的日志切割工具，因此花了一些闲暇时间自己写了一个。由于要在多个平台上使用，为了方便采用 Java 实现。本工具命名为 Log-Cutter，主要有以下特点：

支持 Linux、Mac 和 Windows 等所有常见操作系统平台

支持命令行交互式运行

支持后台非交互式运行（Linux/MAC 下使用 daemon 进程实现，Windows 用系统 Service 实现）

支持三种日志清理方式（删除日志文件、切割日志文件或归档日志文件）

支持对 GB18030、UTF-8、UTF-16LE、UTF-16BE 等常用日志文件类型进行切割

高度可配置（程序执行周期、要删除的日志文件过期时间、要切割的日志文件阀值和保留大小等均可配置

Log-Cutter 官方网站：http://www.jessma.org

Log-Cutter 下载地址：http://www.oschina.net/p/log-cutter

一、环境要求

--------------------------------------------------

1) Java 版 本: JDK / JRE 1.6 以上

2) 依赖程序包: dom4j、log4j、ant、juniversalchardet

--------------------------------------------------

二、配置文件

--------------------------------------------------

1) 程序配置文件: conf/config.xml (默认)

（示例参考：conf/config-template.xml）

2) 日志配置文件: conf/log4j.properties (默认)

（示例请参考：conf/log4j.properties）

--------------------------------------------------

三、安装部署

（注 ：LogCutter 需要配置 ‘JAVA_HOME’ / ‘JRE_HOME’ 和 ‘CLASSPATH’ 系统环境变量）

--------------------------------------------------

1) 配置系统环境变量 ‘JAVA_HOME’（或 ‘JRE_HOME’） 和 ‘CLASSPATH’

2) 在 LogCutter配置文件（默认：conf/config.xml）中配置清理规则

3) 启动 LogCutter

--------------------------------------------------

四、启动方式

--------------------------------------------------

1) Windows

A) 前台运行: > run.bat [ -f config-file ]

B) 后台运行: > LogCutter.exe {

-install-demand (安装手动启动服务)

-install-auto (安装自动启动服务)

-uninstall (删除服务)

-start (启动服务)

-stop (停止服务)

-status (查看服务状态)

}

*** 注 ***

@ LogCutter.exe 以 Windows 系统服务的方式运行，安装好后也可以通过 Windows 服务管理器进行管理

@ LogCutter.exe 是 32 位程序，LogCutter_x64.exe 是 64 位程序，根据当前系统平台使用其中之一

C) 单次运行: > run.bat -1 [ -f config-file ]

2) Linux / Unix

A) 前台运行: $ run.sh [ -f config-file ]

B) 后台运行: $ run.sh [ -f config-file ] -d

C) 单次运行: $ run.sh -1 [ -f config-file ] [ -d ]

*** 注 ***

@ 可以把 run.sh 启动命令加入 /etc/rc.d/rc.local 中，从而设置为开机时自动运行

--------------------------------------------------
详细说明与使用方法参考：《操作指南》

配置文件

<?xml version="1.0" encoding="UTF-8"?>

<CONFIG xmlns="http://www.jessma.org"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://www.jessma.org http://www.jessma.org/schema/log-cutter-cfg-2.0.xsd">
<global>

<!-- 开始日志检查延时 (小时), 默认: 0 (立刻开始)

1) 当指定为一个整数值时，执行器首次启动延时时间为该值设定的小时数

（例如：12 小时后首次启动执行器）

<start-check-delay>12</start-check-delay>

2) 当指定为一个 ‘hh:mm’ 格式的值时，执行器首次启动时间为该时分值

（例如：12 点 34 分首次启动执行器，如果当前时间超过 12 点 34 分则在明天的 12 点 34 分首次启动执行器）

<start-check-delay>12:34</start-check-delay>

-->

<!-- 02 点 30 分首次启动执行器 -->

<start-check-delay>02:30</start-check-delay>

<!-- 日志检查间隔 (小时), 默认: 72 -->

<check-interval></check-interval>

<!-- Log4J 配置文件, 默认: ${CLASS_ROOT}/../conf/log4j.properties -->

<log4j-config-file></log4j-config-file>

<!-- 进程锁文件, 默认: ${CLASS_ROOT}/../${APP_NAME}.lock -->

<lock-file></lock-file>

</global>

<!-- 要删除的日志文件列表（可配置多个，由 DelFileRunner 执行）

1) DelFileRunner 会递归删除符合条件的文件夹及其中的所有文件

2) 注意：在判断是否删除文件夹时，检测的是文件夹的最后修改时间，而不是其中文件的最后修改时间

3) DelFileRunner 适用于清理 “定期产生新日志文件” 的应用程序日志

-->

<!-- delete-files.expire: 日志文件过期时间(天), 默认: 90 -->

<delete-files expire="30">

<!-- file.path: 文件所在目录, 必须填写, 不能包含通配符 -->

<!-- file: 文件或文件夹名称, 必须填写, 可包含通配符 -->

<file path="/opt/LogCutter/logs">LogCutter.log*</file>

<file path="/opt/hMailServer/Logs">*.log</file>

<file path="/opt/tomcat-6.0/logs">*.log</file>

</delete-files>

<delete-files expire="365">

<file path="~/backup">*</file>

</delete-files>

<!-- 要截断的日志文件列表（可配置多个，由 CutFileRunner 执行）

1) CutFileRunner 只会扫描符合条件的文件，不会扫描文件夹

2) CutFileRunner 会截断文件的前部内容，保留后部内容

3) CutFileRunner 适用于清理 “日志文件不断追加增长” 的应用程序日志

-->

<!-- cut-files.threshold: 日志文件截断阀值(KB), 默认: 10240 -->

<!-- cut-files.reserve: 日志文件保留内容(KB), 默认: 1024 -->

<!--

<!注!> 'cut-files.reserve' 是保留内容的近似值, 实际内容按行取整保留

如下列日志文件内容:













line1: xxxxxxxxxxxxxxxxxxxxx

line2: xxxxxxxxxxPyyyyyyyyyy

line3: zzzzzzzzzzzzzzzzzzzzz

line4: zzzzzzzzzzzzzzzzzzzzz












(EOF)

'P'为定位得到的保留起点, 程序实际会在'P'点开始查找下一个换行符,

从该换行符的后一个字符开始保留, 也就是从第三行开始保留到文件末尾

-->

<cut-files threshold="10240" reserve="512">

<file path="/opt/apache-2.2/logs">*.log</file>

<file path="/opt/mysql-server-5.1/data">*.err</file>

</cut-files>

<!-- 要归档的日志文件列表（可配置多个，由 ArcFileRunner 执行）

1) ArcFileRunner 把符合条件的文件或文件夹压缩归档到指定目录，并删除原文件或文件夹

2) 归档文件格式：{原文件/文件夹名称}_{系统时间}.zip

3) 注意：在判断是否归档文件夹时，检测的是文件夹的最后修改时间，而不是其中文件的最后修改时间

4) ArcFileRunner 适用于清理 “定期产生新日志文件或日志目录” 的应用程序日志

-->

<!-- archive-files.expire: 日志文件过期时间(天), 默认: 90 -->

<!-- archive-files.archive-path: 日志文件归档目录 -->

<archive-files expire="120" archive-path="~/backup">

<file path="/opt/mysql-server-5.1/data">mysql-bin.*</file>

</archive-files>

</CONFIG>

Log-Cutter 2.0.1 更新：

1、增加文件归档执行器 ArcFileRunner

1) ArcFileRunner 把符合条件的文件或文件夹压缩归档到指定目录，并删除原文件或文件夹

2) 属性 expire 指定归档到期时间，属性 archive-path 指定归档目录

3) 归档文件格式：{原文件/文件夹名称}_{系统时间}.zip

<!-- 例如：下面的配置把最后修改时间超过 90 天的文件或文件夹归档到 ‘E:\backup’ 目录 -->

<archive-files archive-path="E:\backup" expire=90>

<file path="X:\MyApp\logs">*</file>

<file path="X:\nginx-1.4.1\logs">*.log</file>

</archive-files>
2、支持多组文件清理策略

1) config.xml 可以配置多项 <delete-files>、<cut-files> 或 <archive-files>

2) 不同的配置项可以使用不同的清理策略参数

<!-- 例如：下面配置的两组归档清理策略中，分别指定不同的归档到期时间和归档目录 -->

<archive-files archive-path="E:\backup" expire=90>

<file path="X:\MyApp\logs">*</file>

<file path="X:\nginx-1.4.1\logs">*.log</file>

</archive-files>

<archive-files archive-path="E:\backup2" expire=300>

<file path="X:\MyApp2\logs">*</file>

<file path="X:\Tomcat-6\logs">*.log</file>

</archive-files>
3、文件删除执行器 DelFileRunner 支持递归删除文件夹

1) DelFileRunner 会递归删除符合条件的文件夹及其中的所有文件

2) 注意：在判断是否删除文件夹时，检测的是文件夹的最后修改时间，而不是其中文件的最后修改时间

<!-- 例如：下面的配置会删除 logs 目录下所有最后修改时间超过 90 天的文件或文件夹 -->

<delete-files expire=90>

<file path="X:\MyApp\logs">*</file>

</delete-files>
4、执行器首次启动延时配置 ‘<start-check-delay>’ 支持指定绝对时间

1) 当指定为一个整数值时，执行器首次启动延时时间为该值设定的小时数

2) 当指定为一个 ‘hh:mm’ 格式的值时，执行器首次启动时间为该时分值

<!--（例如）-->

<!-- 12 小时后首次启动执行器 -->

<start-check-delay>12</start-check-delay>

<!-- 12 点 34 分首次启动执行器，如果当前时间超过 12 点 34 分则在明天的 12 点 34 分首次启动执行器 -->

<start-check-delay>12:34</start-check-delay>
5、增加单次运行模式（running-only-once mode）

1) 在单次运行模式下，LogCutter 在启动时立刻运行所有执行器，当所有执行器运行完毕后退出程序

2) 单次运行模式可避免 LogCutter 作为常驻进程一直运行，配合 CronTab 等任务调度器一起使用则能达到定时清理的目的

3) 在单次运行模式下 运行 LogCutter 会忽略配置文件的 ‘start-check-delay’ 和 ‘check-interval’ 配置项

4) 通过命令行参数 ‘-1’ 指示使用单次运行模式启动 LogCutter

（例如）

Windows : > run.bat -1

Unix/Linux : > run.sh -1 [ -d ]

6、优化启动脚本 run.sh / run.bat

1) 只需配置好系统环境变量 ‘JAVA_HOME’（或 ‘JRE_HOME’） 和 ‘CLASSPATH’ 即可通过启动脚本运行 LogCutter

2) 启动脚本接受命令行参数并传递到 LogCutter 程序中。其中 run.sh 通过额外的参数 ‘-d’ 指示后台运行 LogCutter