解决新手hadoop2.7.3在window10 提交工作至远程服务上失败的问题
2017-04-16 23:02
573 查看
错误1 Stack trace: ExitCodeException exitCode=1: /bin/bash: line 0: fg: no job control 修改hadoop源码 在项目的当前路径的YARNRunner.java中 390 行 将这行代码vargs.add(Environment.JAVA_HOME.$() + "/bin/java"); 替换为 vargs.add("$JAVA_HOME/bin/java"); 增加方法 private void replaceEnvironment(Map<String, String> environment) { String tmpClassPath = environment.get("CLASSPATH"); tmpClassPath=tmpClassPath.replaceAll(";", ":"); tmpClassPath=tmpClassPath.replaceAll("%PWD%", "\\$PWD"); tmpClassPath=tmpClassPath.replaceAll("%HADOOP_MAPRED_HOME%", "\\$HADOOP_MAPRED_HOME"); tmpClassPath= tmpClassPath.replaceAll("\\\\", "/" ); environment.put("CLASSPATH",tmpClassPath); } 在466行添加代码 replaceEnvironment(environment);错误二 用户权限检查问题在当前提交任务的机器上配置环境变量 HADOOP_USER_NAME = albert //hdfs有权限的用户 groupadd supergroupusermod -a -G supergroup albert把这个用户添加到hdfs的超级用户组中错误三Error: Couldnot find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster在mapred-site.xml中增加如下陪配置
<property> <name>mapreduce.application.classpath</name> <value> /opt/hadoop-2.6.0/etc/hadoop, /opt/hadoop-2.6.0/share/hadoop/common/*, /opt/hadoop-2.6.0/share/hadoop/common/lib/*, /opt/hadoop-2.6.0/share/hadoop/hdfs/*, /opt/hadoop-2.6.0/share/hadoop/hdfs/lib/*, /opt/hadoop-2.6.0/share/hadoop/mapreduce/*, /opt/hadoop-2.6.0/share/hadoop/mapreduce/lib/*, /opt/hadoop-2.6.0/share/hadoop/yarn/*, /opt/hadoop-2.6.0/share/hadoop/yarn/lib/* </value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>
修改yarn-site.xml
<property><name>yarn.application.classpath</name><value>/opt/hadoop-2.6.0/etc/hadoop,/opt/hadoop-2.6.0/share/hadoop/common/*,/opt/hadoop-2.6.0/share/hadoop/common/lib/*,/opt/hadoop-2.6.0/share/hadoop/hdfs/*,/opt/hadoop-2.6.0/share/hadoop/hdfs/lib/*,/opt/hadoop-2.6.0/share/hadoop/mapreduce/*,/opt/hadoop-2.6.0/share/hadoop/mapreduce/lib/*,/opt/hadoop-2.6.0/share/hadoop/yarn/*,/opt/hadoop-2.6.0/share/hadoop/yarn/lib/*</value></property>
相关文章推荐
- 大数据 IMF 传奇 困扰很久的问题解决!ecliplse 远程提交程序到虚拟机 hadoop集群 ,ecliplse 没有显示输出 的问题解决!
- ecliplse 远程提交程序到虚拟机 hadoop集群 , 修改Hadoop的源代码---NativeIO问题解决!
- 工作笔记--打开“服务”时出现“管理单元初始化失败”的解决
- 看有没有高手能解决这个SQL远程连接失败问题
- eclipse连接远程hadoop集群开发时0700问题解决方案
- 解决cognos以远程db2数据库为数据源的连接失败问题
- Exchange2010学习笔记之 解决从远程服务器处理数据失败问题
- eclipse连接远程hadoop集群开发时0700问题解决方案
- sqlserver2000 netstat、telnet连不到1433端口(远程登录失败)问题解决方法
- eclipse连接远程hadoop集群开发时权限不足问题解决方案
- WCF+Restfull服务 提交或获取数据时数据大小限制问题解决方案
- 解决cognos以远程db2数据库为数据源的连接失败问题
- 关于IIS服务启动失败的问题:“IIS提示‘另一个程序正在使用此文件,进程无法访问’”,的解决方法
- 数据库远程连接错误26的问题解决,终于搭好工作环境了
- 新安装的OpenSuse11.3, 用Xshell基于ssh的远程登录失败问题的解决
- eclipse连接远程hadoop集群开发时权限不足问题解决方案
- PHPnow安装服务[apache_pn]失败的问题的解决方法
- SVN提交数据(Commit)失败问题(MKACTIVITY ... 403 Forbidden)解决方法
- tmux使用简介——如何解决使用linux远程终端的掉线问题(保存远程服务器工作现场)
- SVN提交数据(Commit)失败问题(MKACTIVITY ... 403 Forbidden)解决方法