Hadoop入门之Hadoop伪分布式环境搭建
2016-12-13 10:48
281 查看
在配置Hadoop环境前,应该在Linux环境中先配置JAVA环境变量,SSH免密登录。如果没有SSH免密登录,在分布式环境下,就会重复很多次输入密码的动作。
假设此时JAVA_HOME与SSH免密登录已经配置好。这时候从Hadoop官网http://hadoop.apache.org/ 下载Hadoop压缩包,上传到Linux上,选择一个合适的目录解压。解压之后,按照如下步骤进行操作:
1.在Hadoop包根目录下,编辑文件 etc/hadoop/hadoop-env.sh,更改:
(2)配置DataNodes
在文件etc/hadoop/slaves中
hadoop-senior.ibeifeng.com
(3)配置SecondaryNode
4.接下来进行测试
(1)格式化文件系统
bin/hdfs namenode -format
(2)启动NN节点和DN节点的进程
sbin/start-dfs.sh
(3)创建执行MapReduce任务的文件目录
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/<username>
(4)将输入文件复制到分布式文件系统中
bin/hdfs dfs -put etc/hadoop input
(5)执行一个测试用例
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
假设此时JAVA_HOME与SSH免密登录已经配置好。这时候从Hadoop官网http://hadoop.apache.org/ 下载Hadoop压缩包,上传到Linux上,选择一个合适的目录解压。解压之后,按照如下步骤进行操作:
1.在Hadoop包根目录下,编辑文件 etc/hadoop/hadoop-env.sh,更改:
export JAVA_HOME=/usr/java/latest
2.然后使用 bin/hadoop 测试hadoop命令是否可用
3.配置HDFS
(1)配置NameNode
在文件etc/hadoop/core-site.xml中
(2)配置DataNodes
在文件etc/hadoop/slaves中
hadoop-senior.ibeifeng.com
(3)配置SecondaryNode
4.接下来进行测试
(1)格式化文件系统
bin/hdfs namenode -format
(2)启动NN节点和DN节点的进程
sbin/start-dfs.sh
(3)创建执行MapReduce任务的文件目录
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/<username>
(4)将输入文件复制到分布式文件系统中
bin/hdfs dfs -put etc/hadoop input
(5)执行一个测试用例
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
相关文章推荐
- hadoop入门二(伪分布式环境搭建)
- Hadoop入门——hadoop环境搭建(伪分布式)
- Hadoop入门基础教程 Hadoop之完全分布式环境搭建
- Hadoop环境搭建-入门伪分布式配置(Mac OS,0.21.0,Eclipse 3.6)
- Hadoop入门基础教程 Hadoop之完全分布式环境搭建
- Hadoop入门基础教程 Hadoop之完全分布式环境搭建
- hadoop on yarn 入门系列1-伪分布式环境搭建并运行wordcount
- Hadoop入门基础教程 Hadoop之伪分布式环境搭建
- hadoop完全分布式环境搭建笔记
- windows下hadoop伪分布式模式开发环境的搭建(Cygwin)以及Eclipse集成开发环境下的搭建
- Ubuntu上搭建Hadoop环境(伪分布式)
- hadoop完全分布式环境搭建
- Hadoop -分布式环境搭建安装配置
- 基于WindowsXP环境的Hadoop完全分布式环境的搭建
- 王家林 云计算分布式大数据Hadoop实战高手之路---从零开始 第二讲:全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程
- 解决典型Hadoop分布式集群环境搭建问题
- 配置密码分布式集群环境hadoop、hbase、zookeeper搭建(全)
- Hadoop全分布式环境搭建
- Hadoop -分布式环境搭建安装配置
- 基于WindowsXP环境的Hadoop伪分布式环境的搭建