shell脚本实现上传日志到ftp服务器

shell脚本实现上传日志到ftp服务器

一.搭建ftp服务器

1.确认开启ftp服务
打开---控制面板---程序---打开或关闭windows功能





2.添加ftp站点
打开：控制面板---系统和安全---管理工具---Internet信息服务



点击---添加ftp站点



3.指定ftp站点的名称以及物理路径：



4.指定ftp站点的ip端口以及SSL



5.设置ftp站点的权限控制



6.完成ftp的配置



7.测试ftp站点：



8.指定ftp服务器的特定用户
打开---计算机管理---用户---添加新用户



选择---基本设置---连接为---特定用户---设置

二.shell脚本实现日志上传ftp服务器

日志上传ftp服务器的shell脚本submitLog_Day.sh如下（按天提交时）：

#!/bin/bash

#读取配置文件中相应的值
function readINI()
{
INI_VALUE=echo cat /opt/icbc/proxy/log.ini | grep $1 | awk '{print $3}'
echo ${INI_VALUE}
}

#读取记录已提交日志的submitNotes.txt
function readLogNotes()
{

LogNote=echo cat /opt/icbc/logs/submitNotes.txt | grep $1 | grep $2 | grep $3 | grep $4 | grep $5 | awk '{print $8}'
echo ${LogNote}
}

#提交单个文件到ftp服务器
function submitFileTOftp()
{
ftp -n <<- EOF
open $1
user $2 $3
cd $4
lcd /opt/icbc/logs/
bin
put $5
bye
EOF
}

#echo "submitLog_Day.sh run" >> /opt/icbc/logs/submitNotes.txt

#判断log.ini文件是否存在
filename="/opt/icbc/proxy/log.ini"
echo $filename
if [ ! -f $filename ]
then
echo "file not exist"
exit 0
else
echo "log.ini exist"
fi

#判断logUploadCycle的类型：1:天 2:周 3:月
logUploadCycle=($(readINI logUploadCycle))
if [ $logUploadCycle = 1 ]
then
echo $logUploadCycle

else
exit 0
fi

ftpIp=($(readINI ftpIp))
echo $ftpIp
ftpUsername=($(readINI ftpUsername))
echo $ftpUsername
ftpPassword=($(readINI ftpPassword))
echo $ftpPassword
ftpPath=($(readINI ftpPath))
echo $ftpPath

YEAR=`date "+%Y"`
MONTH=`date "+%m"`
DAY=`date "+%d"`
System_Date="$YEAR-$MONTH-$DAY"
System_Date_s=`date -d "$System_Date" +%s`
System_Date_Dayago=`date -d "-1 day $System_Date" +%F`
System_Date_Dayago_s=`date -d "-1 day $System_Date" +%s`
Time_Interval=$(($System_Date_s-$System_Date_Dayago_s))
echo "Time_Interval" $Time_Interval
cd /opt/icbc/logs/
for file in ./*
do
if test -f $file
then
LogDate=`echo $file | cut -c 16-23`
echo $LogDate
if echo $LogDate | grep -Eq "[0-9]{4}[0-9]{2}[0-9]{2}" && date -d $LogDate +%Y%m%d >/dev/null 2>&1
then
echo "LogDate" $LogDate
LogDate_S=`date -d "$LogDate" +%s`
echo "LogDate_S" $LogDate_S
Log_Time_Interval=$(($System_Date_s-$LogDate_S))
echo "Log_Time_Interval" $Log_Time_Interval
if (($Log_Time_Interval > 0)) && (($Log_Time_Interval <= $Time_Interval))
then
#验证ftp服务器上是否已经存在指定日志
LogNote_Sign=($(readLogNotes $file $ftpIp $ftpUsername $ftpPassword $ftpPath))
echo "LogNote_Sign" $LogNote_Sign
if [ "$LogNote_Sign" = "" ]
then
submitFileTOftp $ftpIp $ftpUsername $ftpPassword $ftpPath $file
echo `date` "submit" $file "to" $ftpIp $ftpUsername $ftpPassword $ftpPath >> /opt/icbc/logs/submitNotes.txt
else
echo $file "已经提交过ftp服务器"
fi
fi
else
echo "illegal log date"
fi
fi
done

配置文件如下：

#ftp服务器地址
ftpIp = 192.168.0.183
#ftp用户名
ftpUsername = wawawajs
#ftp用户密码
ftpPassword = 123123
#ftp路径
ftpPath = /
#日志上传周期
#1 - 按天
#2 - 按星期
#3 - 按月
logUploadCycle = 1
#日志上传时间点
#0~24, 24小时整点时间点
#logUploadTime = 1
#日志类型
#只以一种类型方式记录
#1 - 按日期存储
#2 - 按大小存储
logTransferType = 0
#日志大小
logTransferSize = 0
#日志大小单位
#1 - KB
#2 - MB
#3 - GB
logSizeUnit = 0
#日志分隔周期
#1 - 按天
#2 - 按星期
#3 - 按月
logTransferCycle = 1
#日志级别
#0 - 关闭
#1 - 信息
#2 - 调试
logLevel = 2

日志的命名格式为：cfca_minisvs_20170131.log

三.shell脚本实现清除两个月前的日志

shell脚本clear_log.sh如下：

#!/bin/bash

YEAR=`date "+%Y"`
MONTH=`date "+%m"`
DAY=`date "+%d"`

System_Date="$YEAR-$MONTH-$DAY"
System_Date_s=`date -d "$System_Date" +%s`

System_Date_TwoMonthago=`date -d "-60 day $System_Date" +%F`
System_Date_TwoMonthago_s=`date -d "-60 day $System_Date" +%s`

Time_Interval=$(($System_Date_s-$System_Date_TwoMonthago_s))
echo "Time_Interval" $Time_Interval

cd /opt/icbc/logs/
for file in ./*
do
if test -f $file
then
LogDate=`echo $file | cut -c 16-23`
echo $LogDate
if echo $LogDate | grep -Eq "[0-9]{4}[0-9]{2}[0-9]{2}" && date -d $LogDate +%Y%m%d >/dev/null 2>&1
then
echo "LogDate" $LogDate
LogDate_S=`date -d "$LogDate" +%s`
echo "LogDate_S" $LogDate_S
Log_Time_Interval=$(($System_Date_s-$LogDate_S))
echo "Log_Time_Interval" $Log_Time_Interval
if (($Log_Time_Interval > $Time_Interval))
then
rm -rf $file
echo "删除日志文件：" $file
fi
else
echo "illegal log date"
fi
fi
done

三.contrab实现周期性定时执行任务

基本格式 :

*　　*　　*　　*　　*　　command

分　时　日　月　周　命令

第1列表示分钟1～59 每分钟用*或者 */1表示

第2列表示小时1～23（0表示0点）

第3列表示日期1～31

第4列表示月份1～12

第5列标识号星期0～6（0表示星期天）

第6列要运行的命令

crontab文件的一些例子：

30 21 * * * /usr/local/etc/rc.d/lighttpd restart

上面的例子表示每晚的21:30重启apache。

45 4 1,10,22 * * /usr/local/etc/rc.d/lighttpd restart

上面的例子表示每月1、10、22日的4 : 45重启apache。

10 1 * * 6,0 /usr/local/etc/rc.d/lighttpd restart

上面的例子表示每周六、周日的1 : 10重启apache。

0,30 18-23 * * * /usr/local/etc/rc.d/lighttpd restart

上面的例子表示在每天18 : 00至23 : 00之间每隔30分钟重启apache。

0 23 * * 6 /usr/local/etc/rc.d/lighttpd restart

上面的例子表示每星期六的11 : 00 pm重启apache。

0 */1 * * * /usr/local/etc/rc.d/lighttpd restart

每一小时重启apache

0 23-7/1 * * * /usr/local/etc/rc.d/lighttpd restart

晚上11点到早上7点之间，每隔一小时重启apache

0 11 4 * mon-wed /usr/local/etc/rc.d/lighttpd restart

每月的4号与每周一到周三的11点重启apache

0 4 1 jan * /usr/local/etc/rc.d/lighttpd restart

一月一号的4点重启apache

名称 : crontab

使用权限 : 所有使用者

使用方式 :

crontab file [-u user]-用指定的文件替代目前的crontab。

crontab-[-u user]-用标准输入替代目前的crontab.

crontab-1[user]-列出用户目前的crontab.

crontab-e[user]-编辑用户目前的crontab.

crontab-d[user]-删除用户目前的crontab.

crontab-c dir- 指定crontab的目录。

crontab文件的格式：M H D m d cmd.

M: 分钟（0-59）。

H：小时（0-23）。

D：天（1-31）。

m: 月（1-12）。

d: 一星期内的天（0~6，0为星期天）。

cmd要运行的程序，程序被送入sh执行，这个shell只有USER,HOME,SHELL这三个环境变量

说明 :

crontab 是用来让使用者在固定时间或固定间隔执行程序之用，换句话说，也就是类似使用者的时程表。-u user 是指设定指定

user 的时程表，这个前提是你必须要有其权限(比如说是 root)才能够指定他人的时程表。如果不使用 -u user 的话，就是表示设

定自己的时程表。

参数 :

crontab -e : 执行文字编辑器来设定时程表，内定的文字编辑器是 VI，如果你想用别的文字编辑器，则请先设定 VISUAL 环境变数

来指定使用那个文字编辑器(比如说 setenv VISUAL joe)

crontab -r : 删除目前的时程表

crontab -l : 列出目前的时程表

crontab file [-u user]-用指定的文件替代目前的crontab。

时程表的格式如下 :

f1 f2 f3 f4 f5 program

其中 f1 是表示分钟，f2 表示小时，f3 表示一个月份中的第几日，f4 表示月份，f5 表示一个星期中的第几天。program 表示要执

行的程序。

当 f1 为 * 时表示每分钟都要执行 program，f2 为 * 时表示每小时都要执行程序，其馀类推

当 f1 为 a-b 时表示从第 a 分钟到第 b 分钟这段时间内要执行，f2 为 a-b 时表示从第 a 到第 b 小时都要执行，其馀类推

当 f1 为 */n 时表示每 n 分钟个时间间隔执行一次，f2 为 */n 表示每 n 小时个时间间隔执行一次，其馀类推

当 f1 为 a, b, c,... 时表示第 a, b, c,... 分钟要执行，f2 为 a, b, c,... 时表示第 a, b, c...个小时要执行，其馀类推

使用者也可以将所有的设定先存放在档案 file 中，用 crontab file 的方式来设定时程表。

例子 :

#每天早上7点执行一次 /bin/ls :

0 7 * * * /bin/ls

在 12 月内, 每天的早上 6 点到 12 点中，每隔3个小时执行一次 /usr/bin/backup :

0 6-12/3 * 12 * /usr/bin/backup

周一到周五每天下午 5:00 寄一封信给 alex@domain.name :

0 17 * * 1-5 mail -s "hi" alex@domain.name < /tmp/maildata

每月每天的午夜 0 点 20 分, 2 点 20 分, 4 点 20 分....执行 echo "haha"

20 0-23/2 * * * echo "haha"

注意 :

当程序在你所指定的时间执行后，系统会寄一封信给你，显示该程序执行的内容，若是你不希望收到这样的信，请在每一行空一格之

后加上 > /dev/null 2>&1 即可

例子2 :

#每天早上6点10分

10 6 * * * date

#每两个小时

0 */2 * * * date

#晚上11点到早上8点之间每两个小时，早上8点

0 23-7/2，8 * * * date

#每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点

0 11 4 * mon-wed date

#1月份日早上4点

0 4 1 jan * date

范例

$crontab -l 列出用户目前的crontab.

$crontab -e 编辑crontab文件

日志上传以及清除时的crontab文件如下：

0 0 * * * submitLog_Day.sh
0 0 * * 1 submitLog_Week.sh
0 0 1 * * submitLog_Month.sh
*/1 * * * * minisvs_rotate.sh
0 0 * * * clean_log.sh