统计ip的发送频率和该ip发送的有效消息(去除相似消息)的数目

一.统计ip的发送频率

统计一天日志中以某个时间间隔为单位的ip发送消息的频率。如：统计5分钟内ip的发送频率；统计30分钟内ip的发送频率。这里是统计以分钟为基本单位，发送频率即该ip在某时间间隔内的最大发送消息数。

统计脚本如下，名为ipFrequency.sh。

#!/bin/sh

if [ "$1" != "" ] && [ "$2" != "" ]; then
logfile="/data3/im-log/*.webim.log.imp.$1"
interval=$2
else
echo "***Usage:sh ipFrequency.sh date interval."
echo "*****date format is YYYY-MM-DD."
echo "*****interval is the ip time interval with minitues as a basic unit."
echo "*****Eg:sh ipFrequency.sh 2013-05-12 5"
exit
fi

cat $logfile | grep sendMsgOk | grep -v "fromUserId=0" |
grep "spamReasons=\[\]" | gawk -F"\t" 'BEGIN{interval='$interval'}
function getIP(name){
split(name, arr, "=");
ip = arr[2];
sub(/^[[:blank:]]*/, "", ip);#去除左空格
sub(/[[:blank:]]*$/, "", ip);#去除右空格
return ip;
}

function getMins(time){ #将时间转化为分钟数
split(time, tarr, ":");
return tarr[1]*60+tarr[2];
}{

mins = getMins($1);
ip = getIP($20);
mi[mins"_"ip] ++ ;

#将ip映射到分钟数上
if(dict[mins] != 0){
if(index(dict[mins],ip) == 0){
dict[mins] = dict[mins]","ip;
}
}else{
dict[mins] = ip;
}
}END{
for(i = 0; i < 24 * 60; i++){
#统计该时间间隔内的ip频率
for(j = i; (j < i + interval) && (j < 24 * 60); j++){
len = split(dict[j], ipArr, "," );#获取该分钟对应的ip列表
for(k = 1; k <= len; k++) {
ip = ipArr[k];
fre[ip] += mi[j"_"ip];
iplist[ip] ++; #将该时间段内出现的ip放到数组中
}
}
#更新ip对应的最大频率
for(k in iplist){
if(fre[k] > max[k]){
max[k] = fre[k];
mintime[k] = int(i/60)":"(i%60);
maxtime[k] = int((i + interval)/60)":"((i+interval)%60);
}
}
delete iplist;
delete fre;
}
#输出ip最大频率
for(k in max) {
printf("%s-%s\t%s\t%d\n", mintime[k], maxtime[k], k, max[k]);
}
}'

使用如下：sh ipFrequency.sh 2013-06-08 5

即查询5分钟内的ip发送频率。

二.统计ip发送的消息中有效消息(去除相似消息)的个数

主要是通过similar_text()函数实现，该函数可以比较2个字符串的相似度，即相似百分比，给出一个参考博文：Php比较字符串相似度函数的利用

通过读取iplist文件中的ip，去日志文件中查找该ip发送的所有消息，将其所有消息中所有相似的消息去除，统计该ip实际发送的有效的消息是多少。

iplist中的内容如下，第一列为ip；第二列为该ip一天内发送的消息频率，即一天内发送的消息数：

221.179.130.199 581
27.207.158.114 2351
119.248.72.210 639
59.39.154.182 665
113.132.128.88 616
222.44.86.30 855
218.28.35.166 4713
180.213.9.98 1095
59.54.156.243 824
221.179.130.201 662

统计脚本如下，名为levenshtein.php。

<?php
//统计ip发送消息的非相似频率（即一个ip对应的不同消息内容的个数）
error_reporting(E_ALL &  ~E_NOTICE & ~E_WARNING);

function similarity($str1, $str2){
//levenshtein($str1, $str2);
if(strlen($str1) < 50 || strlen($str2) < 50){
return -1;
}
if(abs(strlen($str1) - strlen($str2))/max(strlen($str1), strlen($str2)) >= 0.2)
return -1;
similar_text($str1, $str2, $distance);
return $distance; //(1 - $distance/max(strlen($str1), strlen($str2)));
}

//var_dump(similarity("2013年业务增长需求，\r\n正在向全国各地招收不同IP地址的\r\n(淘宝信誉代刷人员)、（没有中介）、（免费加入）、（工作时间自由)\r\n（待遇20元/时左右）<可在家做>>，详情请联系客服欣欣QQ: 36387959", "面试兼职淘宝网拍新款男女夏季（欧 韩 日）服装鞋帽、品牌饰品彩妆 商业会展礼仪，发型秀。请加QQ：2367369676将身高 年龄 体重 照片发我"));
//exit;

function getIPSimFre($ip) {
$simArr = array();

$shell = "cat sendMsgOk.2013-06-07 | grep  -v 'fromUserId=0' | grep 'spamReasons=\[\]' | grep ip=$ip | awk -F'\t' '{print $11;}'";
exec($shell, $log);
foreach ($log as $msgContent) {
$arr = explode('=', $msgContent);
$content = $arr[1];

$isSim = false;
foreach ($simArr as $key => $value) {
if (similarity("$key", "$content") > 80) {
$simArr[$key] ++;
$isSim = true;
break;
}
}
if ($isSim == false) {
$simArr[$content] = 1;
}
}

global $wfp;

$len = count($simArr);
if($len <= 20){
fwrite($wfp, "---------------------$ip begin-----------------\n");
foreach ($simArr as $key=>$value) {
fwrite($wfp, "$key\t$value\n");
}
fwrite($wfp, "----------------------$ip end-------------------\n");
}

return $len;
}

$wfp = fopen(dirname(__FILE__) . '/rubbish', 'w+');

$fp = fopen(dirname(__FILE__) . '/iplist', 'r');
while ($line = fgets($fp)) {
$arr = explode("\t", $line);
$ip = trim($arr[0]);
$fre = trim($arr[1]);
$simfre = getIPSimFre($ip);
print "ip=$ip\tfre=$fre\tsimfre=$simfre\n";
}
fclose($fp);
fclose($wfp);

?>