Hadoop Streaming 得到mapreduce_map_input_file中遇到的问题的版本号
2015-10-02 17:48
337 查看
1.Hadoop Streaming,您可以在任务获得hadoop设置环境变量,
例如,使用awk书面map从而能获得:filename = ENVIRON["mapreduce_map_input_file"]
2.是在不同的Hadoop集群提交作业的时候却遇到了版本号的问题,
在0.21.0中。使用mapreduce_map_input_file能够取到作业输入文件名称
在1.0.3中,必须使用map_input_file才干够取到作业输入文件名称
3.查询网络资源,说是hadoop新旧api的问题。
即新api使用mapreduce_map_input_file这个环境变量可以获取
旧的api必须使用map_input_file才干获取
4.hadoop分支:
hadoop 0.21.0与1.0.3不属于一个分支,1.0.3是从0.20.1分支中发展而来的,
须要进一步验证,可以阅读下: hadoop-0.21.0-streaming.jar 与 hadoop-streaming-1.0.3.jar它可以在线索中可以看出
例如,使用awk书面map从而能获得:filename = ENVIRON["mapreduce_map_input_file"]
2.是在不同的Hadoop集群提交作业的时候却遇到了版本号的问题,
在0.21.0中。使用mapreduce_map_input_file能够取到作业输入文件名称
在1.0.3中,必须使用map_input_file才干够取到作业输入文件名称
3.查询网络资源,说是hadoop新旧api的问题。
即新api使用mapreduce_map_input_file这个环境变量可以获取
旧的api必须使用map_input_file才干获取
4.hadoop分支:
hadoop 0.21.0与1.0.3不属于一个分支,1.0.3是从0.20.1分支中发展而来的,
须要进一步验证,可以阅读下: hadoop-0.21.0-streaming.jar 与 hadoop-streaming-1.0.3.jar它可以在线索中可以看出
相关文章推荐
- Hadoop2.7.1——64位源码编译
- NCL介绍与安装 记一次不平凡的经历!
- ITerm命令行里 编译 链接 出现xcrun: error: active developer path
- 关于Linux权限问题(由samb访问所引起的)
- apache 占用内存总量与每个apache进程的平均内存占用量计算
- 软工之测试与维护
- Tomcat 8 Source Code Analysis[1] Code Preparation
- 虚拟机中CentOS自动获取ip和静态ip设置
- Vs2012于Linux应用程序开发(2):图案
- Copying files from ASM to file system
- AOJ 2456 Usoperanto (树形dp)
- hdu 1195 Open the Lock(bfs)
- AOJ 2456 Usoperanto (树形dp)解题报告
- Linux 命令 - tail: 打印文件的结尾部分
- web应用配置的logback,为什么在tomcat下没日志文件出现
- Linux 命令 - head: 打印文件的开头部分
- 如何用tomcat配置虚拟目录,方法要详细明了
- 《深入剖析Tomcat》阅读(一)
- linux文件处理命令——目录处理命令
- Nginx Event模块