Python: joblib.Parallel method in a class 'TypeError : can't pickle instancementhod objects'

使用joblib.Parallel并行处理数据是出现TypeError : can’t pickle instancementhod objects 错误

首先是一段函数调用的实现：

import joblib
import numpy as np

def load_data(K, T):
return K+T

jobs = 8

Ts = np.repeat(np.array([1]),  jobs, axis=0)
Ks = np.repeat(np.array([1]),  jobs, axis=0)

with joblib.Parallel(n_jobs=jobs) as parallel:
outpout = parallel(joblib.delayed(load_data)(k, s)
for k, s in zip(Ks, Ts))
print(output)

这段代码是没有问题的输出 [5, 5, 5, 5, 5, 5, 5, 5]

但是如果在类中进行处理，如下所示：

import joblib
import numpy as np

class testParallel:
def load_data(self, K, T):
return K+T

del run(self):
jobs = 8

Ts = np.repeat(np.array([1]),  jobs, axis=0)
Ks = np.repeat(np.array([1]),  jobs, axis=0)

with joblib.Parallel(n_jobs=jobs) as parallel:
outpout = parallel(joblib.delayed(load_data)(k, s)
for k, s in zip(Ks, Ts))

这样就会出现：TypeError : can’t pickle instancementhod objects错误。这种bug出现的方式是自己找出来的，最后在一篇博客中看到，第一种方法为解决使用joblib和Multiprocessing基于pickling实现并行处理的方法，并且解释了其出现的原因。

为了pickle一个object，object必须是一个全局的变量，这才才可以使unpickle通过（PS：pickle存取结构化的数据）。如果在类中，输出的参数为以下类型:

[('self', 0), ('self', 1), ('self', 2), ('self', 3), ('self', 4), ('self', 5), ('self', 6), ('self', 7), ('self', 8), ('self', 9)]



因此需要在类外对函数进行定义。