Hadoop学习全程记录——hadoop 入门
2013-10-10 16:44
351 查看
几天前开始学习hadoop,从今天起,想把我学习hadoop全过程记录一下。我会记录在学习过程中碰到的问题、困难以及解决方法等等,如果你也是刚学hadoop,我们可以一起讨论。
学了几天,好像入门了,在这里和大家分享,就当全程笔记的第一篇吧。
新说明一下我的开发环境
操作系统:在windows下使用wubi安装了ubuntu 10.10
hadoop版本:hadoop-0.20
Hadoop 快速入门文档:http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html
上面这个地址是最新hadoop快速入门,基本上按照里面步骤能快速入门hadoop,但这篇文档是针对hadoop 0.18写的,有些地方还是和hadoop 0.20不同。在文档“伪分布式模式的操作方法”中有下面配置说明:
Java代码
配置
使用如下的 conf/hadoop-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
在这里,你会发现在hadoop 0.20中并不存在conf/hadoop-site.xml文件,所以,如果你使用高版本的hadoop就要修改为下面的配置:
Java代码
配置
使用如下的 conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
Java代码
配置
使用如下的 conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
Java代码
配置
使用如下的 conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
只要在这里注意一下,再按照“hadoop快速入门”文档就能对hadoop快速入们了。
学了几天,好像入门了,在这里和大家分享,就当全程笔记的第一篇吧。
新说明一下我的开发环境
操作系统:在windows下使用wubi安装了ubuntu 10.10
hadoop版本:hadoop-0.20
Hadoop 快速入门文档:http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html
上面这个地址是最新hadoop快速入门,基本上按照里面步骤能快速入门hadoop,但这篇文档是针对hadoop 0.18写的,有些地方还是和hadoop 0.20不同。在文档“伪分布式模式的操作方法”中有下面配置说明:
Java代码
配置
使用如下的 conf/hadoop-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
在这里,你会发现在hadoop 0.20中并不存在conf/hadoop-site.xml文件,所以,如果你使用高版本的hadoop就要修改为下面的配置:
Java代码
配置
使用如下的 conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
Java代码
配置
使用如下的 conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
Java代码
配置
使用如下的 conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
只要在这里注意一下,再按照“hadoop快速入门”文档就能对hadoop快速入们了。
相关文章推荐
- Hadoop学习全程记录(1)-hadoop入门
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序(转)
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——ubuntu14.04下配置Hadoop(1)(修改)
- [转载]Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——hadoop读取hdfs文件系统里的内容
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——eclipse hadoop开发环境配置(2)(修改)
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序(3)
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Shader入门精要学习记录七
- SQL Server 2008编程入门经典(第3版) 学习记录2
- hadoop入门学习系列之六hadoop学习之sqoop安装
- hadoop学习【9】——hadoop集群真实测试(错误记录)
- Python入门学习记录—元组(tuple)
- hadoop学习记录之hadoop版本升级问题解决