WINDOWS 配置HADOOP遇到的几个问题
2017-06-09 09:55
573 查看
具体配置的方法网上很多,不写了。实际操作中遇到了几个问题,虽然不大但遇到可能会卡得难受。
1. Hadoop 毕竟是LINUX的东西,所以安装目录(包括JDK) 都别用太特别的字符或者空格;
2. CreateSymbolicLink error (1314): A required privilege is not held by the client.
网上找到的具体解决办法:
1.open Local Group Policy (press Win+R to open "Run..." - type gpedit.msc)
2.expand "Computer Configuration" - "Windows Settings" - "Security Settings" - "Local Policies" - "User Rights Assignment"
3.find "Create symbolic links" on the right, and see whether your user is included. If not, add your user into it.
4.this will come in effect after logging in next time, so log out and log in.
2. Java.lang.IllegalArgumentException: Does not contain a valid host :port
配置的HOST:PORT 错误,通常是配置问题中的配置出错,但我这次碰到的是由于主机名有‘_’,而Hadoop认为这是非法的,去掉就好了。这种问题只能平时积累了。
4. An internal error occurred during: "Map/Reduce location status updater". (Eclipse配置插件出错)
先得在ERR LOG中确定是什么错,只找表面提示会出来各种答案。。。
我这遇到的是空指针异常(java.lang.NullPointerException),也就是调用的对象找不到。网上查的问题是先要建输入输出文件夹,但其实我是wordcount运行成功再反过来配置插件的,理论上不存在这个问题。
多次实验才发现,插件配置后,不是点那个小三角就能用的,得新建Map/Reduce Project,这点感觉毕竟不是Eclipse 官方插件,可能不太完善。(不确定是不是我这个版本才这样,我用的是hadoop 2.7.3)
总结:处理问题先好好理解ISSUE说的是什么,这是最重要的信息,再有的放矢得去寻找答案。
1. Hadoop 毕竟是LINUX的东西,所以安装目录(包括JDK) 都别用太特别的字符或者空格;
2. CreateSymbolicLink error (1314): A required privilege is not held by the client.
Windows 的执行权限问题,望这方面找就对了。
网上找到的具体解决办法:
1.open Local Group Policy (press Win+R to open "Run..." - type gpedit.msc)
2.expand "Computer Configuration" - "Windows Settings" - "Security Settings" - "Local Policies" - "User Rights Assignment"
3.find "Create symbolic links" on the right, and see whether your user is included. If not, add your user into it.
4.this will come in effect after logging in next time, so log out and log in.
2. Java.lang.IllegalArgumentException: Does not contain a valid host :port
配置的HOST:PORT 错误,通常是配置问题中的配置出错,但我这次碰到的是由于主机名有‘_’,而Hadoop认为这是非法的,去掉就好了。这种问题只能平时积累了。
4. An internal error occurred during: "Map/Reduce location status updater". (Eclipse配置插件出错)
先得在ERR LOG中确定是什么错,只找表面提示会出来各种答案。。。
我这遇到的是空指针异常(java.lang.NullPointerException),也就是调用的对象找不到。网上查的问题是先要建输入输出文件夹,但其实我是wordcount运行成功再反过来配置插件的,理论上不存在这个问题。
多次实验才发现,插件配置后,不是点那个小三角就能用的,得新建Map/Reduce Project,这点感觉毕竟不是Eclipse 官方插件,可能不太完善。(不确定是不是我这个版本才这样,我用的是hadoop 2.7.3)
总结:处理问题先好好理解ISSUE说的是什么,这是最重要的信息,再有的放矢得去寻找答案。
相关文章推荐
- hadoop入门搭windows eclipse环境时遇到的几个问题以及解决方案
- Windows7下MySQL5.5.20免安装版的配置 - (补上了我遇到的几个问题,以及mysql启动优化)
- windows配置hadoop遇到的问题(分布式缓存)
- 在Windows下安装Hadoop遇到的几个问题
- 最近遇到的几个windows小问题及解决方法
- hadoop伪分布式配置及遇到的问题
- Ruby在windows下配置所遇到的问题
- hadoop集群配置以及配置中遇到的问题详解
- hadoop面试时可能遇到的问题,你能回答出几个 ?
- struts配置时遇到的几个问题
- Eclipse Hadoop配置遇到的问题
- 为SharePoint的多台WFE配置Windows自带的NLB遇到的一个问题
- 配置Nexus私服遇到的几个小问题
- 配置Hadoop&Hbase遇到的问题与解决
- 配置data guard broker时遇到的几个问题
- 20131010配置hadoop集群遇到namespaceID、storage ID、防火墙的问题
- 配置LMAP时遇到几个问题
- windows 2003 IIS 发布 WCF + Silverlight 发布过程可能会遇到几个问题的解决方法
- 安装Hadoop过程中遇到的几个问题
- Hadoop 配置-启动 过程中遇到的问题