hadoop学习之单机环境搭建
2014-10-20 20:56
399 查看
环境:ubuntu 14 64位
hadoop版本:1.2.1 release
hadoop包下载url地址:http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-1.2.1/
hadoop文件的名称:hadoop-1.2.1.tar.gz
hadoop的配置分为
1)单机模式配置方式
2)伪分布式配置方式(就是把单机看做只有一个节点的hadoop集群,当前集群是slave,也是master;是NameNode,也是DataNode;是JobTraker,也是TaskTraker)
我采取了伪分布式配置方式,配置方式如下:
1)conf/core-site.xml
配置hdfs的地址和端口号
配置hdfs,一般情况下,值是3,但是因为是单机的情况,所以值位1
3)mapred-site.xml
配置JobTraker的地址和端口号
接下来可以启动hadoop,不过在这之前,需要先格式化一下hdfs文件系统。
执行:
接下来启动hadoop
到bin目录下执行:
然后到到浏览器输入url地址
1)MapReduce web页面地址
http://localhost:50030
2)HDFS的web页面
http://localhost:50070
如果成功的话,那么hadoop就表示安装成功了 如下图:
hadoop版本:1.2.1 release
hadoop包下载url地址:http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-1.2.1/
hadoop文件的名称:hadoop-1.2.1.tar.gz
hadoop的配置分为
1)单机模式配置方式
2)伪分布式配置方式(就是把单机看做只有一个节点的hadoop集群,当前集群是slave,也是master;是NameNode,也是DataNode;是JobTraker,也是TaskTraker)
我采取了伪分布式配置方式,配置方式如下:
1)conf/core-site.xml
配置hdfs的地址和端口号
<configuration> <!--hdfs config--> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>2)conf/hdfs-site.xml
配置hdfs,一般情况下,值是3,但是因为是单机的情况,所以值位1
<configuration> <name>dfs.replication</name> <!--only one computer,so the value should be 1,default is 3--> <value>1</value> </configuration>
3)mapred-site.xml
配置JobTraker的地址和端口号
接下来可以启动hadoop,不过在这之前,需要先格式化一下hdfs文件系统。
执行:
bin/hadoop namenode -format 出现下面一大堆的提示的时候,表示执行成功了 <pre name="code" class="plain">14/10/20 21:19:55 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = zero/127.0.1.1 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 1.2.1 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013 STARTUP_MSG: java = 1.7.0_67 ************************************************************/ 14/10/20 21:19:55 INFO util.GSet: Computing capacity for map BlocksMap 14/10/20 21:19:55 INFO util.GSet: VM type = 64-bit 14/10/20 21:19:55 INFO util.GSet: 2.0% max memory = 932184064 14/10/20 21:19:55 INFO util.GSet: capacity = 2^21 = 2097152 entries 14/10/20 21:19:55 INFO util.GSet: recommended=2097152, actual=2097152 14/10/20 21:19:55 INFO namenode.FSNamesystem: fsOwner=shikenian 14/10/20 21:19:55 INFO namenode.FSNamesystem: supergroup=supergroup 14/10/20 21:19:55 INFO namenode.FSNamesystem: isPermissionEnabled=true 14/10/20 21:19:55 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100 14/10/20 21:19:55 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 14/10/20 21:19:55 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0 14/10/20 21:19:55 INFO namenode.NameNode: Caching file names occuring more than 10 times 14/10/20 21:19:56 INFO common.Storage: Image file /tmp/hadoop-shikenian/dfs/name/current/fsimage of size 115 bytes saved in 0 seconds. 14/10/20 21:19:56 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/tmp/hadoop-shikenian/dfs/name/current/edits 14/10/20 21:19:56 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/tmp/hadoop-shikenian/dfs/name/current/edits 14/10/20 21:19:56 INFO common.Storage: Storage directory /tmp/hadoop-shikenian/dfs/name has been successfully formatted. 14/10/20 21:19:56 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at zero/127.0.1.1 ************************************************************/
接下来启动hadoop
到bin目录下执行:
然后到到浏览器输入url地址
1)MapReduce web页面地址
http://localhost:50030
2)HDFS的web页面
http://localhost:50070
如果成功的话,那么hadoop就表示安装成功了 如下图:
相关文章推荐
- 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)
- 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)
- hadoop学习(一)------------搭建单机本地运行环境
- 大数据学习系列之一 ----- Hadoop环境搭建(单机)
- hadoop学习(一)------------搭建单机本地运行环境
- 大数据学习系列之一 ----- Hadoop环境搭建(单机)
- 王家林 云计算分布式大数据Hadoop实战高手之路---从零开始 第二讲:全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- storm学习(一):搭建storm单机调试环境
- hadoop学习系列1之在ubuntu12.04下搭建伪分布式Hadoop-1.1.1环境并安装eclipse
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- hadoop入门之单机版环境搭建(多图)
- hadoop学习笔记(3)-eclipse下搭建hadoop开发环境各种问题的解决
- Ubuntu 12.04搭建hadoop2.0.4单机版环境
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- hadoop学习过程-2013.08.20--搭建hadoop环境
- hadoop学习准备环境:ubuntu学习笔记-基本环境的搭建
- Hadoop学习笔记(一)环境搭建
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)