您的位置:首页 > 运维架构

1、hadoop配置伪分布式

2015-08-23 15:55 399 查看
5、将hadoop添加到环境变量

vim /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.1/

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#刷新配置

source /etc/profle

6 初始化HDFS(格式化文件系统)

#hadoop namenode format(过时了)

hdfs namenode -format 格式化文件 系统 

7、启动hdfs和yarn

sbin/start-all.sh

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

#每次需要多次输入密码

可以通过浏览器验证
http://192.168.6.66:50070(hdfs的管理界面) http://192.168.6.66:8088(yarn的管理界面)
8、上传下载文件

下载文件

hadoop fs -get hdfs://nlei01:9000/jdk /home/jdk1.6

上传文件:

hadoop fs -put /opt hdfs://nlei01:9000/jdk

9、运行hadoop例子程序

hadoop jar /usr/hadoop/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount  hdfs://hadoop01:9000/words hdfs://hadoop01:9000/wsout

10、配置ssh免登录

生成ssh免登录密钥

ssh-keygen -t rsa

执行这个命令后会生成两个文件,一个私钥,一个公钥

将公钥拷贝到免登陆的机器上

cat  ~/.ssh/id_rsa.pub  >> ~/.ssh/authorized_keys

ssh-copy-id 192.168.8.99
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: