您的位置:首页 > 编程语言 > Python开发

python hadoop 在streaming中获取文件名的方法

2015-08-14 11:18 921 查看
在hadoop的开发中,经常要根据streaming中不同的文件名做不同的处理,需要获取文件名,可参考java

版本中获取文件名的方法:

1、hadoop上在java开发可用:

FileSplit fileSplit = (FileSplit)reporter.getInputSplit();

String fileName = fileSplit.getPath().getName();

来获取文件名称。

2、同样python开发时,可以这么用:

import os

os.environ["map_input_file"]

这里的 map_input_file 相当于map.input.file
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: