hadoop环境搭建遇到问题集锦
2014-03-02 19:29
281 查看
1 在hadoop的bin目录下, 运行hadoop version命令,提示“hadoop:没有此命令”
解决办法: ./hadoop version或者$HADOOP_HOME/bin放在PATH中。
2 为什么cat $PATH会出现空目录, 而source /etc/profile后设置的目录会出现,客户端启动的时候/etc/profile不执行一遍吗?
3 格式化namenode的时候会出现“Format aborted in /home/feixiang/hadoop-0.20.2/hdfs/name”, 如果不格式化,start-all.sh时候会没有namenode节点,查看logs下日志,会提示namenode没有格式化
解决办法,把自己手动创建的目录删除掉,hadoop namenode -format运行的时候会创建相应的目录,如果你已经建立好啦,就会报失败,估计HDFS的文件格式和我们系统的文件格式是两种格式,并且和我们常用的文件系统不同的是,hdfs当遇到需要创建的文件名已经存在的时候,不是去覆盖,而是直接返回失败。
4 Hadoop在core-site.xml中指定namenode的位置,在mapred-site.xml中指定jobtracker的位置,为什么只格式化namenode,不格式化其他的文件?
各个参数的设置:
<!--core-site.xml-->
fs.default.dir 指定文件系统(默认色是HDFS)的位置和类型
io.file.buffer.size 辅助I/O操作的缓冲区大小
dfs.block.size 设置块的大小
dfs.datanode.du.reserved 指定保留空间的大小
fs.trash.interval 回收站的设置
<!--hdfs-site.xml-->
dfs.name.dir 存储永久性的元数据的目录列表,包括远程目录,namenode在列表上的各个目录中会存放相同的元数据文件,和辅助namenode不同的是,辅助namenode定期保持namenode的检查点
dfs.data.dir hdfs存储数据的目录,可以支持多个目录,可以循环的在各个目录中写数据
fs.checkpoint.dir 保存检查点的目录
<!--mapred-site.xml-->
mapred.job.tracker 用于指定jobtracker的主机名和端口
mapred.local.dir 用于存放map-reduce的中间数据, 默认${hadoop.tmp.dir}/mapred/local
mapred.system.dir 用于存放map-reduce的共享文件的目录, 默认${hadoop.tmp.dir}/mapred/system
mapred.tasktracker.map.tasks.maximum,默认2
mapred.tasktracker.reduce.tasks.maximum,默认2
解决办法: ./hadoop version或者$HADOOP_HOME/bin放在PATH中。
2 为什么cat $PATH会出现空目录, 而source /etc/profile后设置的目录会出现,客户端启动的时候/etc/profile不执行一遍吗?
3 格式化namenode的时候会出现“Format aborted in /home/feixiang/hadoop-0.20.2/hdfs/name”, 如果不格式化,start-all.sh时候会没有namenode节点,查看logs下日志,会提示namenode没有格式化
解决办法,把自己手动创建的目录删除掉,hadoop namenode -format运行的时候会创建相应的目录,如果你已经建立好啦,就会报失败,估计HDFS的文件格式和我们系统的文件格式是两种格式,并且和我们常用的文件系统不同的是,hdfs当遇到需要创建的文件名已经存在的时候,不是去覆盖,而是直接返回失败。
4 Hadoop在core-site.xml中指定namenode的位置,在mapred-site.xml中指定jobtracker的位置,为什么只格式化namenode,不格式化其他的文件?
各个参数的设置:
<!--core-site.xml-->
fs.default.dir 指定文件系统(默认色是HDFS)的位置和类型
io.file.buffer.size 辅助I/O操作的缓冲区大小
dfs.block.size 设置块的大小
dfs.datanode.du.reserved 指定保留空间的大小
fs.trash.interval 回收站的设置
<!--hdfs-site.xml-->
dfs.name.dir 存储永久性的元数据的目录列表,包括远程目录,namenode在列表上的各个目录中会存放相同的元数据文件,和辅助namenode不同的是,辅助namenode定期保持namenode的检查点
dfs.data.dir hdfs存储数据的目录,可以支持多个目录,可以循环的在各个目录中写数据
fs.checkpoint.dir 保存检查点的目录
<!--mapred-site.xml-->
mapred.job.tracker 用于指定jobtracker的主机名和端口
mapred.local.dir 用于存放map-reduce的中间数据, 默认${hadoop.tmp.dir}/mapred/local
mapred.system.dir 用于存放map-reduce的共享文件的目录, 默认${hadoop.tmp.dir}/mapred/system
mapred.tasktracker.map.tasks.maximum,默认2
mapred.tasktracker.reduce.tasks.maximum,默认2
相关文章推荐
- hadoop环境搭建过程及搭建过程遇到的问题及解决的办法
- ubuntu上搭建eclipse下hadoop-2.7.1集群(全分布式)开发环境遇到的几个问题笔记
- 搭建hadoop环境遇到的问题
- eclipse搭建Hadoop(2.7.3)开发环境遇到的问题及应对办法
- hadoop环境搭建遇到的问题:-bash: jps: command not found
- Hadoop,HBase集群环境搭建的问题集锦(四)
- Hadoop,HBase集群环境搭建的问题集锦(二)
- hadoop2.6.2集群环境搭建在经过几天的环境搭建,终于搭建成功,其中对于hadoop的具体设置倒是没有碰到很多问题,反而在hadoop各节点之间的通信遇到了问题,而且还反复了很多遍,光虚拟机就重
- Hadoop,HBase集群环境搭建的问题集锦(三)
- 搭建hadoop环境遇到的问题
- 基于docker搭建hadoop集群环境中遇到的一些问题
- 在linux上搭建hadoop环境所遇到的问题
- windows下搭建hadoop开发环境遇到的问题
- hadoop、hbase、hive环境搭建时候遇到的问题汇总
- Hadoop,HBase集群环境搭建的问题集锦(四)
- eclipse里搭建hadoop环境遇到的问题
- Hadoop,HBase集群环境搭建的问题集锦(一)
- Hadoop环境搭建遇到的问题记解答
- Hadoop,HBase集群环境搭建的问题集锦(二)
- myeclipse配置hadoop开发环境,及遇到问题解决