python hadoop 在streaming中获取文件名的方法
2015-08-14 11:18
921 查看
在hadoop的开发中,经常要根据streaming中不同的文件名做不同的处理,需要获取文件名,可参考java
版本中获取文件名的方法:
1、hadoop上在java开发可用:
FileSplit fileSplit = (FileSplit)reporter.getInputSplit();
String fileName = fileSplit.getPath().getName();
来获取文件名称。
2、同样python开发时,可以这么用:
import os
os.environ["map_input_file"]
这里的 map_input_file 相当于map.input.file
版本中获取文件名的方法:
1、hadoop上在java开发可用:
FileSplit fileSplit = (FileSplit)reporter.getInputSplit();
String fileName = fileSplit.getPath().getName();
来获取文件名称。
2、同样python开发时,可以这么用:
import os
os.environ["map_input_file"]
这里的 map_input_file 相当于map.input.file
相关文章推荐
- Python元组
- 判断网页的编码方式 python
- python+selenium测试用例参考
- 在Eclipse中手动安装pydev插件,eclipse开发python环境配置
- python中的if __name__=='__main__': main()解析
- Python列表
- Python中文件读取readlines()方法
- python中index()与find()的区别
- Python3 ctypes简单使用
- Python中range和xrange的异同之处
- Python lxml xpath
- Python应用服务器
- python and、or以及and-or
- 零基础学python-2.20 类
- 零基础学python-2.18 异常
- 零基础学python-2.18 异常
- 零基础学python-2.20 类
- switch 与 python字典
- python 导入自定义包 包机制
- pythonpath 详解