您的位置:首页 > 运维架构

hadoop中遇到的一些问题

2016-05-19 16:12 716 查看
1、在hdfs中创建文件夹时

hadoop fs -mkdir testdata


错误 提示:No such file or directory

解决方法:

hadoop fs -mkdir -p /user/hadoop/testdata


2、datanode无法启动

jps发现没有datanode服务。

解决方法:

删除datanode的所有资料。将集群中每个datanode的/hdfs/data/current中的VERSION删掉,hdfs为hadoop-src/conf/hdfs-site.xml中name为dfs.data.dir所指向的值,如:/usr/local/hadoop/data/hadoop/data,
/hdfs/data/current/VERSION =/usr/local/hadoop/data/hadoop/data/current/VERSION)。

然后stop所有服务,格式化namenode。。。

stop-all.sh
hadoop namenode -format
start-all.sh
jps


3.使用hadoop fs -ls时报错

WARN ipc.Client: Address change detected. Old: xxx New:  xxx


/etc/hosts文件内容在启动前后有变动,或者IP与主机名称配置不正确

4.javac 编译引入hadoop API 时报错

(1)、可以通过配置hadoop的classpath变量解决;

export	CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH


(2)、在编译时引入hadoop core包

javac -classpath hadoop-core-xxx.jar Xxxxx.java


若依赖的还有其他包则使用 : 加上

javac -classpath hadoop-core-xxx.jar:XXX.jar Xxxxx.java
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: