通过hadoop streaming 输入两个文件或目录

通过Hadoop streaming写Mapreduce程序时，会遇到同时处理多个输入文件或者目录的的需求，那么如何在map程序中知道这一条内容到底来自哪个文件？

其实hadoop已经给留了解决方法：在map端获取环境变量mapreduce_map_input_file，即为本次的输入文件。

sh脚本中：

-input ${hdfs_input_path} \
-input ${hdfs_input_path_user} \

py文件中判断目录：

def mapper():
filepath = os.environ.get('mapreduce_map_input_file')
filename = os.path.split(filepath)[0]
for line in sys.stdin:
if filename == 'hdfs://hadoop/user/hdfs/merge_test':
pass

if filename == 'hdfs://hadoop/user/hdfs/file_test':
pass

注意：hdfs://hadoop是集群的名字，if判断路径的时候需要写上。

py文件中判断文件名：

def mapper():
filepath = os.environ.get('mapreduce_map_input_file')
filename = os.path.split(filepath)[-1]
for line in sys.stdin:
if filename == 'file_name1':
pass

if filename == 'file_name2':
pass