hadoop中遇到的一些问题
2016-05-19 16:12
716 查看
1、在hdfs中创建文件夹时
错误 提示:No such file or directory
解决方法:
2、datanode无法启动
jps发现没有datanode服务。
解决方法:
删除datanode的所有资料。将集群中每个datanode的/hdfs/data/current中的VERSION删掉,hdfs为hadoop-src/conf/hdfs-site.xml中name为dfs.data.dir所指向的值,如:/usr/local/hadoop/data/hadoop/data,
/hdfs/data/current/VERSION =/usr/local/hadoop/data/hadoop/data/current/VERSION)。
然后stop所有服务,格式化namenode。。。
3.使用hadoop fs -ls时报错
/etc/hosts文件内容在启动前后有变动,或者IP与主机名称配置不正确
4.javac 编译引入hadoop API 时报错
(1)、可以通过配置hadoop的classpath变量解决;
(2)、在编译时引入hadoop core包
若依赖的还有其他包则使用 : 加上
hadoop fs -mkdir testdata
错误 提示:No such file or directory
解决方法:
hadoop fs -mkdir -p /user/hadoop/testdata
2、datanode无法启动
jps发现没有datanode服务。
解决方法:
删除datanode的所有资料。将集群中每个datanode的/hdfs/data/current中的VERSION删掉,hdfs为hadoop-src/conf/hdfs-site.xml中name为dfs.data.dir所指向的值,如:/usr/local/hadoop/data/hadoop/data,
/hdfs/data/current/VERSION =/usr/local/hadoop/data/hadoop/data/current/VERSION)。
然后stop所有服务,格式化namenode。。。
stop-all.sh hadoop namenode -format start-all.sh jps
3.使用hadoop fs -ls时报错
WARN ipc.Client: Address change detected. Old: xxx New: xxx
/etc/hosts文件内容在启动前后有变动,或者IP与主机名称配置不正确
4.javac 编译引入hadoop API 时报错
(1)、可以通过配置hadoop的classpath变量解决;
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
(2)、在编译时引入hadoop core包
javac -classpath hadoop-core-xxx.jar Xxxxx.java
若依赖的还有其他包则使用 : 加上
javac -classpath hadoop-core-xxx.jar:XXX.jar Xxxxx.java
相关文章推荐
- Web安全相关(三):开放重定向(Open Redirection)
- Tomcat 8 & JNDI Datasource
- Apache Commons工具集简介
- 使用Docker部署GitLab
- nginx 下 bootstrap fa 字体异常问题
- openstack-ansible Chapter 4. Deployment configuration
- MVC,MVP,MVVM以及VIPER架构
- java.lang.NoClassDefFoundError: org/apache/ibatis/io/Resources] with root cause
- hadoop Configured Configrable Configuration Tool 源码详解
- PHP购物网站开发之四:零碎知识
- Jenkins部署war包到远程tomcat的webapps下
- CentOS 7中如何安装mysql server
- AVAYA AEP运维之MPP运行模式及状态类型详解
- openstack新秀:manila框架及知识点介绍
- ls
- linux下面/usr/local和opt目录有何区别
- Hadoop学习笔记-用户微博数统计和排序
- ls
- 鱼眼镜头畸变校正-OpenCV3.1.0和Matalb2012a
- linux格式化磁盘命令