hadoop学习笔记（一）：安装hadoop

安装环境：centos 64 + jdk1.6.0_39 + hadoop-1.0.0

运行模式：单机运行

【安装JDK】

1.将JDK解压到/usr/java/jdk1.6.0_39。

2.在/etc/bashrc中加入环境变量并执行：
export JAVA_HOME=/usr/java/jdk1.6.0_39
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$PATH

3.用java -version检查配置是否正确。

【安装hadoop】

1.下载hadoop-1.0.0，解压到/home/howard/hadoop-1.0.0

2.修改conf/hadoop-env.sh文件，加入JAVA_HOME：
export JAVA_HOME=/usr/java/jdk1.6.0_39

3.修改core-site.xml文件
<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/howard/hadoop-1.0.0/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:54310</value>

</property>

</configuration>

4.修改hdfs-site.xml 文件

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

由于我是单机跑，所以这里的值是1

5.修改mapred-site.xml文件

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>http://localhost:54311</value>

</property>

</configuration>

5.格式化namenode

bin/hadoop namenode -format

如果上面配置不当，会出错，请仔细再检查一边。

6.启动hadoop

bin/start-all.sh

7.关闭hadoop

bin/stop-all.sh

【测试HDFS】

Hadoop由HDFS和MapReduce组成，Hdfs是一个分布式的文件系统，其使用和操作方式跟linux文件系统类似：

先来创建一个目录：

bin/hadoop fs -mkdir /myfolder

查看文件列表：

./bin/hadoop fs -ls /

会返回目录列表。

上传文件：

bin/hadoop fs -put /data/mywords /myfolder

将/data/mywords文件上传到hdfs的/myfolder目录。

下载文件：

bin/hadoop fs -get /myfolder/mywords /home/howard/mywords