python多进程编程

背景：

方式1：基于multiprocessing

代码：

# -*- coding: utf-8 -*-
__author__ = 'jason'
#加入并行元素，提升处理速度，注意window和linux的多进程是不同的使用方法和不同的库，本文的代码是基于window系统

import urllib2
import os
import Queue
from multiprocessing import Process
from multiprocessing import Pool,Queue
import multiprocessing

filename = "idlist.txt"
file = open(filename, 'r')
filenameresult = "result.txt"
fileresult = open(filenameresult, 'w')

def ProcessTxt(id):
#根据入参任务id进行一序列的处理操作
return

# 子进程要执行的代码
def long_time_task(myqueue,lock):
print 'Run task (%s)...' % (os.getpid())
while True:
id= myqueue.get()
if id== -1:
break
else:
ProcessTxt(str(id))
print str(os.getpid()),'\t',id

done = 0
manager = multiprocessing.Manager()
myqueue = manager.Queue()#注意，这里的queue如果直接用常用的，而非multiprocessing模块下的呢？可以尝试下会如何呢？
worknum = 10#设置work数量
while not done:
line = file.readline()
if(line != ''):
id = line.strip()
myqueue.put(int(id))#tab和空格区别要注意，IDE下面编辑运行和解释器下的运行可能由此产生对齐上面的报错。。。
else:
for i in range(worknum):
myqueue.put(-1)
done = 1
print 'queue size=',myqueue.qsize()

# 父进程创建Queue，并传给各个子进程：
print 'Parent process %s.' % os.getpid()
lock  = multiprocessing.Lock()
for i in range(worknum):
process = multiprocessing.Process(target=long_time_task, args=(myqueue,lock))#非阻塞
process.daemon = True#守护进程就是不阻挡主程序退出,该设置是必要的，欢迎尝试取消，之前并行运行失败，乃是由于此设置的疏忽造成。
process.start()

process.join()
print 'Waiting for all subprocesses done...'
print 'All subprocesses done.'

方式2：基于pool进程池

代码

# -*- coding: utf-8 -*-
__author__ = 'jason'
#加入并行元素，提升处理速度，注意window和linux的多进程是不同的使用方法和不同的库，本文的代码是基于window系统

import urllib2
import json
import os
import re
import krc
import base64
import Queue
from multiprocessing import Process
from multiprocessing import Pool,Queue
import multiprocessing

filename = "idlist.txt"
file = open(filename, 'r')
def ProcessTxt(id):
#自定义的每个任务id的处理逻辑
return

# 子进程要执行的代码
def long_time_task(i,myqueue):
print 'Run task (%s)...' % (os.getpid())
# start = time.time()
while True:
if myqueue.empty():
return
id = myqueue.get(True)
ProcessTxt(str(id))
print str(os.getpid()),'\t',id

done = 0
manager = multiprocessing.Manager()
myqueue = manager.Queue()
worknum = 10
while not done:
line = file.readline()
if(line != ''):
id = line.strip()
myqueue.put(int(id))#tab和空格区别。。。
else:
done = 1
print 'queue size=',myqueue.qsize()

if __name__ == "__main__":
print 'Parent process %s.' % os.getpid()
p = Pool()
for i in range(4):
p.apply_async(long_time_task, args=(i,myqueue))

print 'Waiting for all subprocesses done...'
p.close()
p.join()
print 'All subprocesses done.'