sqoop1安装在hadoop2.6.0上不能使用import命令的问题
2016-08-03 17:30
567 查看
本人是菜鸟一枚,之前自己就在dell的台式机上安装了hadoop2.6.0的伪分布式,一直认为hadoop高深非我等常人可以明白理解的,怀揣着不求机理、问题清楚明了,只求能折腾出我想要的结果的心游走在Hadoop的边缘,所谓擦边球。但最近发现很多功能试了又试就是达不到预想的结果。然后网上搜了n多解决方案,依然不能解决。看了一个帖子,评论上说回归logs,如果连logs都看不明白,那你只能上个棒槌了,棒槌了,棒槌了,,这句话久久回荡在我的耳边,于是乎我决定静下心来看看日志文件。
扯得太远了,回归原题。
最近在用Hadoop的数据迁移工具sqoop,依然是度娘,下载安装包,然后安装百度来的经验帖子一步步的配置完成安装,测试。
测试的时候,sqoop的server/client开启均正常,执行sqoop list-tables --connect jdbc:mysl://localhost:Goods --username sqoopuser -p的时候可以正常显示mysql数据库Goods中的所有表列表,但是将mysql中Goods中的指定表quality内容迁移到Hdfs的时候,报错。
命令bin/sqoop import -connect jdbc:mysql://localhost:Goods -username sqoopuser -password ****** --table quality --append --target-dir /usr/hadoop/ -m 1
显示:connect to resourcemanage 并且一直在尝试连接,连接很多次都连接不上,然后我就检查了一下jps进程,发现Hadoop安装时,进程中没有resourcemanager一项,发现自己犯了致命的错误。然后,关闭Hadoop,重启仍然没有,查看了一下logs,yarn-resourcemanager-**logs发现,显示为系统尝试连接master:8032端口,一直连接不上,然后打开yarn-site.xml文件,将yarn.resourcemanager.hostname的值修改为master机器的ip地址(我的上localhost的127.0.0.1),然后重启Hadoop,jps查看进程,发现有了nodemanager和resourcemanager进程。
返回到sqoop,执行import命令,一切正常:
分析原因:
在安装好hadoop2.2.0集群后,依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。但是过了一段时间后会发现nodemanager会自动
失败退出。
检查日志信息发现一直报本机与一个0.0.0.0的连接失败,然后继续与进行通信尝试一段时间后nodemanager失败。具体信息如下:
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
Caused by: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
返回博客列表
原 hadoop2.2.0 nodemanager启动后失败分析!!!
仙剑奇侠 仙剑奇侠
发布时间: 2014/04/16 22:13 阅读: 2707 收藏: 1 点赞: 0 评论: 0
摘要
在安装好haoop2.2.0后,发现nodemanager启动一段时间后会自动失败。然后检查日志,终于发现原来是与master节点通信失败造成的,然后将配置文件中默认master的ip换成部署环境中的ip地址,解决了问题!!!
在安装好hadoop2.2.0集群后,依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。但是过了一段时间后会发现nodemanager会自动失败退出。
检查日志信息发现一直报本机与一个0.0.0.0的连接失败,然后继续与进行通信尝试一段时间后nodemanager失败。具体信息如下:
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
Caused by: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
通过检查配置文件知道8031端口出现在yarn-site.xml配置文件的yarn.resourcemanager.scheduler.address配置项中。yarn.resourcemanager.scheduler.address 是resourcemanager暴漏给nodemanager的地址和端口。nodermanager利用这个地址通过心跳机制与RM通信。
正常情况下我的NM应该与RM通信,但是NM却一直与0.0.0.0通信.因此查阅官方默认的yarn-site.xml配置文件,发现其中yarn.resourcemanager.hostname的默认值被设置成:0.0.0.0了(怪不得一直与0.0.0.0通信)。发现原来是我设置的主机ip在这里没有生效。
在yarn-site.xml中添加一项新的项,将yarn.resourcemanager.hostname的值修改为master机器的ip地址。(127.0.0.1)
注:nodemanager启动后要通过心跳机制定期与RM通信,否则RM会认为NM死掉,会停止NM的服务
http://my.oschina.net/u/1451042/blog/223235
hadoop2.x常用端口及定义方法:http://blog.csdn.net/ff19910203/article/details/24986333
扯得太远了,回归原题。
最近在用Hadoop的数据迁移工具sqoop,依然是度娘,下载安装包,然后安装百度来的经验帖子一步步的配置完成安装,测试。
测试的时候,sqoop的server/client开启均正常,执行sqoop list-tables --connect jdbc:mysl://localhost:Goods --username sqoopuser -p的时候可以正常显示mysql数据库Goods中的所有表列表,但是将mysql中Goods中的指定表quality内容迁移到Hdfs的时候,报错。
命令bin/sqoop import -connect jdbc:mysql://localhost:Goods -username sqoopuser -password ****** --table quality --append --target-dir /usr/hadoop/ -m 1
显示:connect to resourcemanage 并且一直在尝试连接,连接很多次都连接不上,然后我就检查了一下jps进程,发现Hadoop安装时,进程中没有resourcemanager一项,发现自己犯了致命的错误。然后,关闭Hadoop,重启仍然没有,查看了一下logs,yarn-resourcemanager-**logs发现,显示为系统尝试连接master:8032端口,一直连接不上,然后打开yarn-site.xml文件,将yarn.resourcemanager.hostname的值修改为master机器的ip地址(我的上localhost的127.0.0.1),然后重启Hadoop,jps查看进程,发现有了nodemanager和resourcemanager进程。
返回到sqoop,执行import命令,一切正常:
分析原因:
在安装好hadoop2.2.0集群后,依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。但是过了一段时间后会发现nodemanager会自动
失败退出。
检查日志信息发现一直报本机与一个0.0.0.0的连接失败,然后继续与进行通信尝试一段时间后nodemanager失败。具体信息如下:
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
Caused by: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
返回博客列表
原 hadoop2.2.0 nodemanager启动后失败分析!!!
仙剑奇侠 仙剑奇侠
发布时间: 2014/04/16 22:13 阅读: 2707 收藏: 1 点赞: 0 评论: 0
摘要
在安装好haoop2.2.0后,发现nodemanager启动一段时间后会自动失败。然后检查日志,终于发现原来是与master节点通信失败造成的,然后将配置文件中默认master的ip换成部署环境中的ip地址,解决了问题!!!
在安装好hadoop2.2.0集群后,依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。但是过了一段时间后会发现nodemanager会自动失败退出。
检查日志信息发现一直报本机与一个0.0.0.0的连接失败,然后继续与进行通信尝试一段时间后nodemanager失败。具体信息如下:
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
Caused by: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
通过检查配置文件知道8031端口出现在yarn-site.xml配置文件的yarn.resourcemanager.scheduler.address配置项中。yarn.resourcemanager.scheduler.address 是resourcemanager暴漏给nodemanager的地址和端口。nodermanager利用这个地址通过心跳机制与RM通信。
正常情况下我的NM应该与RM通信,但是NM却一直与0.0.0.0通信.因此查阅官方默认的yarn-site.xml配置文件,发现其中yarn.resourcemanager.hostname的默认值被设置成:0.0.0.0了(怪不得一直与0.0.0.0通信)。发现原来是我设置的主机ip在这里没有生效。
在yarn-site.xml中添加一项新的项,将yarn.resourcemanager.hostname的值修改为master机器的ip地址。(127.0.0.1)
注:nodemanager启动后要通过心跳机制定期与RM通信,否则RM会认为NM死掉,会停止NM的服务
http://my.oschina.net/u/1451042/blog/223235
hadoop2.x常用端口及定义方法:http://blog.csdn.net/ff19910203/article/details/24986333
相关文章推荐
- 第三章:hadoop安装配置,jps命令不能使用。apt-get命令不能下载jdk,缺少依赖包,设置静态ip后不能上网,ubuntu防火墙,ssh无密码登录
- Visual C++的安装问题?以及Visual C++正确安装但是Visual assist安装后不能使用的问题
- VS 2008 安装之后与VS2005 冲突问题,不能使用问题
- ubuntu 10.04 编译安装 vim 7.3, 解决 vim 不能使用系统剪贴板问题
- RedHat 解决 ifconfig命令不能使用的问题
- 解决在Win7下安装MyGeneration,不能使用的问题
- 在VC安装后不能使用dumpbin命令解决办法
- Windows XP下部署php apche mysql时 不能使用mysql_connect的问题:以及安装配置步骤
- 解决RedHat中ifconfig命令不能使用的问题
- 解决Linux下ifconfig、shutdown等Shell命令不能使用的问题
- 安装了MVC1后,仍然不能加载MVC项目,可以尝试使用devenv /setup命令。
- [Linux] 解决RedHat 中 ifconfig 命令不能使用的问题
- 解决RedHat中ifconfig命令不能使用的问题[zz]
- VMWARE下Fedora8安装VM TOOLS后解决鼠标滚轮不能使用的问题
- ubuntu下 如何解决rubyEE安装后 ./script/console不能使用的问题
- 解决在Win7下安装MyGeneration,不能使用的问题
- 解决在Win7下安装MyGeneration,不能使用的问题
- RedHat 解决 ifconfig命令不能使用的问题
- 关于ubuntu 命令update-alternatives --config java 安装jdk出现不能选择版本问题!
- 同时安装ASA10以及ASA11两个数据库导致不能使用SQLSERVER2005 management studio的问题解决