hdfs 机架感知和复制因子的设置
2015-12-06 21:47
676 查看
dfs.replication
新更新的复制因子的参数对原来的文件不起作用。
譬如说,原来的复制因子是2,则原来文件上传的时候就只有两个副本。
现在把dfs.replication设置为3,重新启动hdfs.不会把原来2个副本的变成三个副本。
如果你需要这样,请执行下面的命令:
hadoop fs -setrep -R 3 /
如果你只有2个datanode,但是你却指定副本数为3,是不会生效的,因为每个datanode上只能存放一个副本。
机架感知示例:
保存以下代码为rackware.py
把你自己集群的机器配置替换下面代码中{}的部分。
#!/usr/bin/python
#-*-coding:UTF-8 -*-
import sys
rack = {
"nn1":"rack1",
"nn2":"rack2",
"dn1":"rack3",
"192.168.56.120":"rack1",
"192.168.56.121":"rack2",
"192.168.56.122":"rack3",
}
if __name__=="__main__":
print "/" + rack.get(sys.argv[1],"rack0")
hdfs-site.xml
配置
<property>
<name>topology.script.file.name</name>
<value>/path/to/rackware.py</value>
</property>
新更新的复制因子的参数对原来的文件不起作用。
譬如说,原来的复制因子是2,则原来文件上传的时候就只有两个副本。
现在把dfs.replication设置为3,重新启动hdfs.不会把原来2个副本的变成三个副本。
如果你需要这样,请执行下面的命令:
hadoop fs -setrep -R 3 /
如果你只有2个datanode,但是你却指定副本数为3,是不会生效的,因为每个datanode上只能存放一个副本。
机架感知示例:
保存以下代码为rackware.py
把你自己集群的机器配置替换下面代码中{}的部分。
#!/usr/bin/python
#-*-coding:UTF-8 -*-
import sys
rack = {
"nn1":"rack1",
"nn2":"rack2",
"dn1":"rack3",
"192.168.56.120":"rack1",
"192.168.56.121":"rack2",
"192.168.56.122":"rack3",
}
if __name__=="__main__":
print "/" + rack.get(sys.argv[1],"rack0")
hdfs-site.xml
配置
<property>
<name>topology.script.file.name</name>
<value>/path/to/rackware.py</value>
</property>
相关文章推荐
- Avro技术应用_5. 利用 Camus 来将 Avro 数据从 Kafka 拷贝到 HDFS -- 待完善
- 从本地上传到hdfs上出现异常
- HDFS的命令行操作
- hadoop 优化之container
- HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)
- HDFS TFS
- hdfs文件操作操作示例,包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件
- Hadoop之yarn和mapreduce
- hdfs配置文件详解(转载)
- eclipse远程连接hadoop-笔记2
- flume 收集日志到HDFS
- HDFS操作
- eclipse远程连接hadoop-笔记
- spring hadoop系列(六)---HbaseSystemException
- hdfs 删除和新增节点
- hdfs 删除和新增节点
- Spark向HDFS中存储数据
- HDFS Rolling Upgrade
- HDFS NFS Gateway
- Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用