mapreduce主程序如何传递变量到map或者reduce函数中使用

摘要: mapreduce主程序如何传递变量到map或者reduce函数中使用

一般我们写的mapreduce主程序放在客户端机器上，执行任务时是在集群机器上，所以要将变量从主程序传递到我们自己写的map或者reduce函数中就不能使用全局变量，因为map和reduce函数的执行是在集群的内存中，而mapreduce主程序的执行是在客户端机器的内存中。可以使用以下方法解决：

1 首先全局变量不可以使用，因为全局变量是在运行mapreduce主程序的机器内存当中，在集群的内存中是无法调用的。

2 通过写入mapreduce文件方式，这样如果数据量比较大新增这么一个变量字段不是很合理。

3 通过数据库方式传输。