hadoop常见配置含义备忘录
2016-01-14 11:14
387 查看
列了很多配置的参数
其中红色的配置为必须配置参数
参数 取值 备注
conf/slaves 写入全部的slave的机器名或者IP
nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。
hadoop 默认的block 是 64MB
查看namenode 是否启动:http://localhost:50070/
查看jobtracker是否启动:http://localhost:50030/
转载:http://eryk.iteye.com/blog/792962
其中红色的配置为必须配置参数
参数 取值 备注
fs.default.name | NameNode 的URI。 | hdfs://主机名/ |
dfs.hosts/dfs.hosts.exclude | 许可/拒绝DataNode列表。 | 如有必要,用这个文件控制许可的datanode列表。 |
dfs.replication | 默认: 3 | 数据复制的分数 |
dfs.name.dir | 举例:/home/username/hadoop/namenode 默认:/tmp | 当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。 |
dfs.data.dir | 举例:/home/username/hadoop/datanode 默认: /tmp | 当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。 |
mapred.system.dir | Map/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/ 。 | 这个路径是默认文件系统(HDFS)下的路径, 须从服务器和客户端上均可访问。 |
mapred.local.dir | 本地文件系统下逗号分割的路径列表,Map/Reduce临时数据存放的地方。 | 多路径有助于利用磁盘i/o。 |
mapred.tasktracker.{map|reduce}.tasks.maximum | 某一TaskTracker 上可运行的最大Map/Reduce任务数,这些任务将同时各自运行。 | 默认为2(2个map和2个reduce),可依据硬件情况更改。 |
mapred.job.tracker | JobTracker 的主机(或者IP)和端口。 | 主机:端口 。 |
mapred.hosts/mapred.hosts.exclude | 许可/拒绝TaskTracker列表。 | 如有必要,用这个文件控制许可的TaskTracker列表。 |
hadoop.job.history.user.location | 默认:mapred.output.dir/_logs/history 也可以设置为none 来停用 | 作业的历史文件记录目录 |
nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。
hadoop 默认的block 是 64MB
查看namenode 是否启动:http://localhost:50070/
查看jobtracker是否启动:http://localhost:50030/
转载:http://eryk.iteye.com/blog/792962
相关文章推荐
- Docker学习总结之跨主机进行link
- shell脚本编程之数组
- #!/bin/bash
- 配置 hadoop 开发环境+运行 wordcount 程序
- web开发性能优化---项目架构篇
- linux常用基本命令之五wget
- Hadoop集群节点的动态增加与删除
- Webdriver 自动化测试使用XML+DOM4J维护测试数据
- linux命令行-wget
- (转载)Linux如何编译安装源码包软件
- nginx服务器下配置多个站点的方法
- Linux Mysql备份与恢复
- linux进程管理命令(ps命令与kill命令等)
- openvswitch 2.3.1 配置详解
- Linux下删除virtual vlan interface
- linux设备上的Onvif 实现1: 研究计划
- 去除优酷、土豆、酷六、百度、奇艺、CNTV、新浪、乐视、搜狐等视频网站15秒广告的方法
- linux用户管理命令(useradd、userdel、usermod与finger)
- NSString什么时候用copy,什么时候用strong
- svn cannot be opened because the project file cannot be parsed.