hadoop配置文件详解
2014-10-25 11:29
253 查看
1. core-site.xml
fs.default.name -这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号),集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册,这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟
DataNode交互,以取得文件的块列表。
hadoop.tmp.dir 是hadoop文件系统依赖的基础配置,很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置,默认就放在这个路径中。
2. hdfs-site.xml
dfs.replication -它决定着 系统里面的文件块的数据备份个数。对于一个实际的应用,它 应该被设为3(这个 数字并没有上限,但更多的备份可能并没有作用,而且会占用更多的空间)。少于三个的备份,可能会影响到数据的 可靠性(系统故障时,也许会造成
数据丢失)。
dfs.name.dir - 这是NameNode结点存储hadoop文件系统信息的本地系统路径。这个值只对NameNode有效,DataNode并不需要使用到它。上面对于/temp类型的警告,同样也适用于这里。在实际应用中,它最好被覆盖掉。
2. mapred-site.xml
mapred.job.tracker -JobTracker的主机(或者IP)和端口。参考:http://yq1518602434.blog.163.com/blog/static/202937084201322331913546/
相关文章推荐
- hadoop配置文件详解、安装及相关操作
- hadoop配置文件详解、安装及相关操作补充版
- hadoop配置文件详解、安装及相关操作
- Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)
- Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)
- Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)
- hadoop配置文件详解、安装及相关操作
- Hadoop1.2.1 配置文件详解
- Hadoop小兵笔记【一】Hadoop安装过程中core-site.xml,hdfs-site.xml,mapred-site.xml配置文件详解
- hadoop配置文件详解、安装及相关操作
- hadoop配置文件详解
- hadoop配置文件详解,安装及相关操作
- hadoop配置文件详解、安装及相关操作
- Hadoop学习笔记(十二)---hadoop配置文件详解
- hadoop配置文件详解、安装
- hadoop配置文件详解、安装及相关操作补充版
- hadoop配置文件详解及相关操作
- hadoop配置文件详解、安装及相关操作
- hadoop配置文件详解
- Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)