监控log文件，将得到的ip写入redis数据库

摘要: SimpleXMLRPCServer xmlrpclib threading queue

服务器端将得到的ip写入数据库：

#! /usr/bin/env python

# encoding: utf-8

# time : 2015-06-02 9:55:24

# use : rpc

#在192.168.8.214建立服务器端，用函数redis_records_add在redis中处理ip

import sys

import redis

reload(sys)

sys.setdefaultencoding('utf8')

from SimpleXMLRPCServer import SimpleXMLRPCServer

def redis_con(host):

r = redis.Redis(host='%s' % host, port='6379')

return r

def redis_records_add(key, value):

try:

conn = redis_con('192.168.8.214')

# 判断 key 是否在redis中已经有值，如果有那么自增1，如果没有 那么设置为1

if conn.zscore(key, value):

redis_score = int(conn.zscore(key, value))+1

conn.zadd(key, value, redis_score)

return conn.zscore(key, value)

else:

conn.zadd(key, value, 1)

except Exception as e:

return e

server = SimpleXMLRPCServer(("192.168.8.214", 8000), allow_none=True)

print "Listening on port 8000..."

server.register_multicall_functions()

server.register_function(redis_records_add)

server.serve_forever()

客户端脚本：

# coding:utf-8

__author__ = 'admin'

# --------------------------------

# Created by admin on 2015/5/29.

# ---------------------------------

#/usr/bin/python

import redis,re,subprocess,threading,Queue,xmlrpclib.os

host="192.168.8.137"

dir="/home/nginx/logs/"

_popen={}

queue=Queue.Queue()

#获取/home/nginx/logs/目录下的log文件列表
def logs_list():
list=os.listdir(dir)
log_list=[l for l in list if l.endswith(".log")]
return log_list

#获取log的一行数据

def get_one_line(logpath):

"get one line from log,logpath mast be a str"

global _popen,state

if not _popen.has_key(logpath):

_popen[logpath]=subprocess.Popen("tail -f %s"%(logpath,),stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)

a=_popen[logpath].stdout.readline()

return a

#获取一次访问的IP

def get_guest_ip_info(log):

"get guest ip,this fun return a string"

while 1:

info=get_one_line(log)

ip=re.match("^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}",info)

return ip.group()

def ip_count():

# global queue

# r = redis.Redis(host=host, port=6379, db=0)

# while 1:

# item=queue.get()

# if not r.exists(item[0]):

# r.zadd(item[0],item[1],1)

# else:

# #直接写也可以，不存在key值的话会自动创建

# r.zincrby(item[0],item[1],1)

global queue

while 1:

item=queue.get()

print item

proxy=xmlrpclib.ServerProxy("http://192.168.8.214:8000",allow_none=True)

proxy.redis_records_add(item[0],item[1])

def start_thread(target,args):

"start a theard"

t=threading.Thread(target=target,args=args)

#加上setDaemon(True)的话，主线程不等待子线程结束就关闭所有线程，所有在子线程里print调试的内容都不会再前台显示出来

# t.setDaemon(True)

t.start()

def put_ip(log_name,log):

global queue

while 1:

ip=get_guest_ip_info(log)

queue.put([log_name,ip])

def handle():
log_list=logs_list()
for log in log_list:
redis_key=log.split(".")[0]
log_name=dir+log
#为避免put_ip陷入死循环（while 1：）无法执行后面的代码，所以每个函数都用一个线程单独运行。
#target目标函数不能带括号，args为空时，用（）表示,一个参数用（args，）表示
start_thread(put_ip,(redis_key,log_name))
start_thread(ip_count,())

def main():

#主线程

start_thread(handle,())

if __name__ == '__main__':

main()

#放到后台运行ps -ef |grep python 可以看到

#python ip_count.py &

#远程连接到192.168.8.214查看

#redis-cli -h 192.168.8.214

#keys "wiki"

#ZRANGE wiki 0 -1 withscores