1、hadoop配置伪分布式
2015-08-23 15:55
399 查看
5、将hadoop添加到环境变量
vim /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.1/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#刷新配置
source /etc/profle
6 初始化HDFS(格式化文件系统)
#hadoop namenode format(过时了)
hdfs namenode -format 格式化文件 系统
7、启动hdfs和yarn
sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
#每次需要多次输入密码
可以通过浏览器验证
http://192.168.6.66:50070(hdfs的管理界面) http://192.168.6.66:8088(yarn的管理界面)
8、上传下载文件
下载文件
hadoop fs -get hdfs://nlei01:9000/jdk /home/jdk1.6
上传文件:
hadoop fs -put /opt hdfs://nlei01:9000/jdk
9、运行hadoop例子程序
hadoop jar /usr/hadoop/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount hdfs://hadoop01:9000/words hdfs://hadoop01:9000/wsout
10、配置ssh免登录
生成ssh免登录密钥
ssh-keygen -t rsa
执行这个命令后会生成两个文件,一个私钥,一个公钥
将公钥拷贝到免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh-copy-id 192.168.8.99
vim /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.1/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#刷新配置
source /etc/profle
6 初始化HDFS(格式化文件系统)
#hadoop namenode format(过时了)
hdfs namenode -format 格式化文件 系统
7、启动hdfs和yarn
sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
#每次需要多次输入密码
可以通过浏览器验证
http://192.168.6.66:50070(hdfs的管理界面) http://192.168.6.66:8088(yarn的管理界面)
8、上传下载文件
下载文件
hadoop fs -get hdfs://nlei01:9000/jdk /home/jdk1.6
上传文件:
hadoop fs -put /opt hdfs://nlei01:9000/jdk
9、运行hadoop例子程序
hadoop jar /usr/hadoop/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount hdfs://hadoop01:9000/words hdfs://hadoop01:9000/wsout
10、配置ssh免登录
生成ssh免登录密钥
ssh-keygen -t rsa
执行这个命令后会生成两个文件,一个私钥,一个公钥
将公钥拷贝到免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh-copy-id 192.168.8.99
相关文章推荐
- 网站
- Linux注销在线用户
- Linux注销在线用户
- FAST特征点检测
- linux指令中 tar的使用说明
- Tomcat体系结构
- Linux 命令
- django+apache部署
- OpenGl VS2012环境搭建
- shell脚本总结
- linux shell中间$0,$?,$!和<<'END'
- OpenGL红宝书:第一个渲染程序Triangles常见问题归总
- CentOS6.6安装Zabbix2.4监控系统
- Openstack kilo指南安装与实践(2)
- linux c编程学习——学习步骤
- Spark修炼之道(基础篇)——Linux大数据开发基础:第三节:用户和组
- UNIX文件mode_t详解
- linux shell中的管道执行(作业控制有关的shell)
- org.apache.jasper.JasperException: Unable to compile class for JSP.JSP文件过大,导致文件编译出错
- Linux设备驱动开发——环境搭建