python进程池：multiprocessing.pool

本文转至http://www.cnblogs.com/kaituorensheng/p/4465768.html，在其基础上进行了一些小小改动。

在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。
Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来它。

例1：使用进程池

import multiprocessing
import time,os,random

def Lee():
print('\nRun task Lee--%s******ppid:%s'%(os.getpid(),os.getppid()),'~~~~',time.ctime())
start = time.time()
time.sleep(random.randrange(10))
end = time.time()
print('Task Lee,runs %0.2f seconds.'%(end-start),'~~~~',time.ctime())

def Marlon():
print("\nRun task Marlon-%s******ppid:%s"%(os.getpid(),os.getppid()),'~~~~',time.ctime())
start = time.time()
time.sleep(random.random() * 40)
end=time.time()
print( 'Task Marlon runs %0.2f seconds.' %(end - start),'~~~~',time.ctime())

def Allen():
print( "\nRun task Allen-%s******ppid:%s"%(os.getpid(),os.getppid()),'~~~~',time.ctime())
start = time.time()
time.sleep(random.random() * 30)
end = time.time()
print( 'Task Allen runs %0.2f seconds.' %(end - start),'~~~~',time.ctime())

def Frank():
print( "\nRun task Frank-%s******ppid:%s"%(os.getpid(),os.getppid()),'~~~~',time.ctime())
start = time.time()
time.sleep(random.random() * 20)
end = time.time()
print( 'Task Frank runs %0.2f seconds.' %(end - start),'~~~~',time.ctime())

if __name__ == '__main__':
func_list = [Lee,Marlon,Allen,Frank]
print('parent process id %s'%os.getpid())

pool = multiprocessing.Pool(4)
for func in func_list:
pool.apply_async(func)  #Pool执行函数，apply执行函数,当有一个进程执行完毕后，会添加一个新的进程到pool中

print( 'Waiting for all subprocesses done...')
pool.close()
pool.join()    #调用join之前，一定要先调用close() 函数，否则会出错, close()执行后不会有新的进程加入到pool,join函数等待素有子进程结束
print ('All subprocesses done.')

View Code
执行结果

parent process id 98552
Waiting for all subprocesses done...

Run task Lee--97316******ppid:98552 ~~~~ Thu Jun 16 15:20:50 2016

Run task Marlon-95536******ppid:98552 ~~~~ Thu Jun 16 15:20:50 2016

Run task Allen-95720******ppid:98552 ~~~~ Thu Jun 16 15:20:50 2016

Run task Frank-98784******ppid:98552 ~~~~ Thu Jun 16 15:20:50 2016
Task Allen runs 0.31 seconds. ~~~~ Thu Jun 16 15:20:51 2016
Task Lee,runs 7.00 seconds. ~~~~ Thu Jun 16 15:20:57 2016
Task Frank runs 14.48 seconds. ~~~~ Thu Jun 16 15:21:05 2016
Task Marlon runs 31.72 seconds. ~~~~ Thu Jun 16 15:21:22 2016
All subprocesses done.

multiprocessing pool map

#coding: utf-8
import multiprocessing

def m1(x):
print x * x

if __name__ == '__main__':
pool = multiprocessing.Pool(multiprocessing.cpu_count())
i_list = range(8)
pool.map(m1, i_list)

一次执行结果

0
1
4
9
16
25
36
49

　参考：http://www.dotblogs.com.tw/rickyteng/archive/2012/02/20/69635.aspx　

问题：http://bbs.chinaunix.net/thread-4111379-1-1.html

#coding: utf-8
import multiprocessing
import logging

def create_logger(i):
print i

class CreateLogger(object):
def __init__(self, func):
self.func = func

if __name__ == '__main__':
ilist = range(10)

cl = CreateLogger(create_logger)
pool = multiprocessing.Pool(multiprocessing.cpu_count())
pool.map(cl.func, ilist)

print "hello------------>"

一次执行结果

0
1
2
3
4
5
6
7
8
9
hello------------>