Python和其他进程的管道通信方式--popen和popen2的比较

目前有一个查询程序 get_user_id 是用C写的，python需要调用这个程序：使用 get_user_id "用户名" 可以得到输出: "ID0002451".

在python中使用管道可以方便的调用这个进程并得到它的标准输出：

get_user_id 是C写的，程序大概的框架如下：得到一个命令行参数，然后根据参数打印其相应的id：




int main(int argc , char* args[])


{


char * name = args[1]


printf("%s",getid(name) );


}





python程序调用的片段如下：


pipe = os.popen( "get_user_id " + "myname")




user_id = pipe.read()

pipe.close()

python是这样调用get_user_id程序的。 首先python会启动一个子进程，然后读入子进程的标准输出，最后结束子进程。 这里的主要的开销是进程的启动和撤销，管道之间的通信是非常快的。

如果get_user_id调用得不太频繁，则这种调用方式没有问题；若get_user_id调用得很频繁，以致它的性能成为了系统的瓶颈，这就有必要优化了。优化的方法是使得get_user_id子进程常驻内存，python父进程可以使用write/flush和readline的方法和子进程通信；程序结束时撤销子进程。

进程常驻内存后，python只需要启动一次子进程就可以满足任意次的查询。不过带来的麻烦是get_user_id程序需要重写：将它改为在循环中接收标准输入，把结果送往标准输出，另外约定一个特殊的输入（如"EOF"），子进程收到这个输入后退出循环。

get_user_id改后




int main(int argc , char* args[])


{
char name[512]; // buff


while( scanf("%s", name) ){
if (!strcmp(name,"EOF")) return 0;


printf("%s\n",getid(name) );
}


}





这个C程序先接受标准输入，判断输入是否结束为结束标志，如果是则返回，否则打印用户ID。

Python应该如何调用这个进程呢？使用popen()得到的pipe对象只支持write或者read操作，而不能同时读和写。

需要同时允许读写操作，使用popen2()。该函数返回一个包涵两个元素的tuple,这两个元素依次是写管道（即可向目标进程写入标准输入）和读管道（即读进程的标准输出）。
如果需要和上述C程序打交道，则应该这样打开管道

pipe_out , pipe_in = popen2( " get_user_id " , "wr");

"wr"表示次管道需要先写后读。

具体例子如下：进行10000次查询


import os




if __name__ == "__main__":




pipe_in , pipe_out = popen2("get_user_id", "wr");


for i in range(10000)


pipe_in.write("myname");


pipe_in.write("\n"); #需要换行符


pipe_in.flush(); #需要清空缓冲区




userid = pipe_out.readline(); #读入结果



上述情况需要注意的是，为了和进程顺利交互，一般需要flush，防止io缓冲；尽量写入和读入整行，方便控制管道交互过程。

根据笔者试验显示：使用常驻内存的进程进行10000次调用，比不常驻内存的进程快得多，前者耗费的时间大约是后者的1/5，不过这个结果只是笔者的特例。请读者分析自己的应用场合，看看如何使用python强大的管道工具。

ps，python还有popen3，可打开进程的stdin，stdout和stderr，更好更强大。另外subprocess 模块下有更强大的进程管理接口。