初识hadoop笔记（一）

hadoop 可分为单节点方式配置, 伪分布式配置,集群方式

安装单节点的hadoop无须配置，在这种方式下Hadoop

被认为是一个单独的Java 进程，通常用来调试

伪分布式配置：

可以帮伪分布式的hadoop 看做是只有一个节点的集群

节点既是master 也是 NameNode 也是 datanode

既是JobTraker 也是TaskTraker.

Hadoop 配置文件说明

查看配置文件，进入conf文件夹 修改配置文件：

1. Hadoop-env.sh: 配置J***A 系统环境

export J***A_HOME=""

2. core-site.xml 这是Hadoop 核心配置文件 这里配置HDFS的地址和端口号

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

3. hdfs-site.xml 配置Hadoop中HDFS的配置，默认的备份方式为3，在单机版的hadoop中需要改为1.

<configuration>
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
</configuration>

4. mapred-site.xml 配置Hadoop中的MapReduce 的配置文件，主要配置了JobTracker地址和端口。

<configuration>
<property>
	<name>mapred.job.tracker</name>
	<value>localhost:9001</value>
</property>
</configuration>

tips: 如果安装的是0.20之前的版本，那么只有一个配置文件既为Hadoop-site.xml

配置完毕后，在启动Hadoop前 需要格式化Hadoop的文件系统HDFS ，进入Hadoop文件夹

bin/hadoop namenode -format

bin/start-all.sh (全部启动)

bin/start-dfs.sh (HDFS启动)

bin/start-mapred.sh (MapReduce 启动)

验证是否安装成功 浏览器分别访问

http://localhost:50030 (Mapreduce的web页面) http://localhost:50070（HDFS的web页面）[/code]