python多进程中传递变量
2018-03-29 19:22
225 查看
一句话,多进程传递的不是内存中的地址(浅拷贝),而是特码的整个对象(深拷贝),如果想操作同一对象还是使用队列或者其他的多进程共享变量的方法吧
遇到这个问题是对excel文件使用openpyxl写入的时候,希望能实现异步写入,使用协程发现没效果,初步估计应该是openpyxl的写入过程其实是cpu从内存中依次取了然后写入磁盘,并不是像网络请求那样,一个请求发出去cpu基本就不干活了,就处于接收响应的状态,所以同理,写入既然还是在使用cpu那多线程也凉了,毕竟GIL锁,使用多进程的时候,由于定义了很多全局变量,一个个去共享太麻烦,然后就偷懒只把写入函数另启进程去执行,结果发现,执行起来比正常单进程还慢,使用id函数查看了下两个对象内存中地址才发现,两个已经是不同的对象了,几万条数据的copy,再慢几秒也情有可原
遇到这个问题是对excel文件使用openpyxl写入的时候,希望能实现异步写入,使用协程发现没效果,初步估计应该是openpyxl的写入过程其实是cpu从内存中依次取了然后写入磁盘,并不是像网络请求那样,一个请求发出去cpu基本就不干活了,就处于接收响应的状态,所以同理,写入既然还是在使用cpu那多线程也凉了,毕竟GIL锁,使用多进程的时候,由于定义了很多全局变量,一个个去共享太麻烦,然后就偷懒只把写入函数另启进程去执行,结果发现,执行起来比正常单进程还慢,使用id函数查看了下两个对象内存中地址才发现,两个已经是不同的对象了,几万条数据的copy,再慢几秒也情有可原
相关文章推荐
- shell与python间传递变量方法
- shell与python间传递变量方法
- python 函数进阶:参数传递,高阶函数,lambda 匿名函数,global 变量,递归
- python变量传递给系统命令的方法
- python和shell变量互相传递的几种方法
- 基于python的多进程共享变量正确打开方式
- shell与python间传递变量方法
- python和shell变量互相传递的几种方法
- python和shell间变量互相传递
- shell与python间传递变量方法(转)
- python的变量传递
- python 多进程共享变量
- Python中实现变量赋值传递时的引用和拷贝方法
- python 获取脚本传递参数 及参数个数 检查文件 变量 是否存在 退出脚本
- python和shell 传递变量
- python的多进程共享变量正确打开方式
- 我的python学习之路----传递命令行参数给脚本及获取环境变量
- python多进程共享变量
- Python中参数的传递本质——建立变量与对象的关联
- Python多进程共享变量