linux下用hadoop streaming 跑php总是jobs fail!
2016-07-02 20:26
706 查看
用php写了简单map reduce程序,使用cat test.txt | php mapper.php | php reducer.php 测试过脚本没有问题,然而使用hadoop时就总是jobs fail。
因此得出结论是在上传脚本到hadoop服务器上执行时的命令输入错误。以下总结两个易错点:
1. –map ‘php mapper.php’不应该加php,加了之后容易fail
2. –file ‘mapper.php’ 应该使用-file参数将map和reduce的文件上传到hadoop服务器上,如果不上传容易fail。
用php写了简单map reduce程序,使用cat test.txt | php mapper.php | php reducer.php 测试过脚本没有问题,然而使用hadoop时就总是jobs fail。
因此得出结论是在上传脚本到hadoop服务器上执行时的命令输入错误。以下总结两个易错点:
1. –map ‘php mapper.php’不应该加php,加了之后容易fail
2. –file ‘mapper.php’ 应该使用-file参数将map和reduce的文件上传到hadoop服务器上,如果不上传容易fail。
因此得出结论是在上传脚本到hadoop服务器上执行时的命令输入错误。以下总结两个易错点:
1. –map ‘php mapper.php’不应该加php,加了之后容易fail
2. –file ‘mapper.php’ 应该使用-file参数将map和reduce的文件上传到hadoop服务器上,如果不上传容易fail。
用php写了简单map reduce程序,使用cat test.txt | php mapper.php | php reducer.php 测试过脚本没有问题,然而使用hadoop时就总是jobs fail。
因此得出结论是在上传脚本到hadoop服务器上执行时的命令输入错误。以下总结两个易错点:
1. –map ‘php mapper.php’不应该加php,加了之后容易fail
2. –file ‘mapper.php’ 应该使用-file参数将map和reduce的文件上传到hadoop服务器上,如果不上传容易fail。
1 $hadoop jar /绝对路径/hadoop-streaming.jar \ 2 -D mapred.job.priority="NORMAL" \ 3 -D mapred.job.name="test" \ 4 -D mapred.reduce.tasks=1 \ 5 -D mapred.linerecordreader.maxlength=10485760 \ 6 -mapper "/绝对路径/mapper.php" \ 7 -reducer "/绝对路径/reducer.php" \ 8 -input $input \ 9 -output $output \ 10 -file "/绝对路径/mapper.php" \ 11 -file "/绝对路径/reducer.php"
相关文章推荐
- Centos下MySQL安装与配置
- CentOS 6.3下rsync服务器的安装与配置
- linux vim程序编辑器-vim1
- 在centos 7 上安装mysql
- Linux 五种IO模型
- Linux 环境下开启wifi热点
- CentOS 7 下Ant环境配置
- linux ubuntu 12.04 搭建git服务器:ssh方式clone
- Archlinux安装和使用技巧
- mysql 5.7 linux环境下安装部署
- Linux静态链接和动态链接浅析
- CentOs下 JDK安装过程
- Linux下(Ubuntu)如何在eclipse中使用boost库
- linux截图工具ksnapshot
- Linux上的日志系统
- 《OD学hadoop》第一周0626 作业二:Linux基础
- 闲话Linux系统安全(一)——自主访问控制(DAC) 推荐
- Linux 安装 JDK1.7.0_79
- linux 如何显示一个文件的某几行(中间几行)
- Linux 下五个顶级的开源命令行 Shell