您的位置:首页 > 运维架构

hadoop_1_完全分布式

2016-04-01 15:42 309 查看
设置清空快捷键

echo "alias cls=clear" >> .bashrc
http://192.168.174.40:50070/dfshealth.html#tab-overview
完全分布式

namenode的主要功能就是接收客户端的请求

1 检查java

2 检查时间

yum -y install ntp.x86_64

3 找一台机子为启动脚本的机器,

sbin/stop-dfs.sh 命令时,此机子通过远程登录的方式去启动其他服务器的所应该启动的脚本

4 免登录命令

(所有服务都执行这条命令,建立.ssh文件夹)$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

scp /etc/hosts root@hadoop-node4:/etc/(拷贝本机地址映射文件)

5 vi ~/.bash_profile(编辑环境变量的目的是,随地可用hadoop命令)

scp ~/.bash_profile root@hadoop-node2:/root/

6 搭建hadoop环境 修改配置文件

vim core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop-node1:9000</value>(namenode 客户端入口)

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-2.5.1</value>

</property>

vim hdfs-site.xml

secondNameNode

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop-node2:50090</value>

</property>

<property>

<name>dfs.namenode.secondary.https-address</name>

<value>hadoop-node2:50091</value>

</property>

vim masters 配置 secondNameNode主机名

hadoop-node2

vim slaves 配置 dataNode 主机名

hadoop-node2

hadoop-node3

hadoop-node4

7 hadoop配置文件配置完成

复制到其他服务器上

8 开始启动

1 在namenode上格式化,其他服务器上不用

hdfs namenode -format (做了2件事 1创建了我们的配置的 /opt/下的文件 2创建

了fsimage文件 )

2 启动

start-dfs.sh (stop-dfs.sh)

web浏览器的监控页面为http协议 端口为 50070

上传下载为 rpc协议

上传命令 hdfs dfs -put tengine-2.1.0.tar.gz /

注意 hdfs文件系统和 hsfs文件系统是两个不同文件系统

给 / 目录授权 hdfs dfs -chmod -R 777 /,注意 hadoop没有用户的概念
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: