在CentOS中安装hadoop-1.2.1,并进行配置文件的配置
2016-09-01 15:37
495 查看
1、下载hadoop的安装包至/opt目录下,使用命令:wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz;
2、对安装包进行解压,使用命令:tar -zxvf hadoop-1.2.1.tar.gz;
3、完成上述步骤后,得到以下效果:
4、进入/opt/hadoop-1.2.1/conf目录下,有四个文件需要编辑,如下图:
5、编辑hadoop-env.sh文件,命令:vim hadoop-env.sh,编辑内容及位置如下图:
6、编辑core-site.xml文件,使用命令:vim core-site.xml,编辑后的效果如下图:
即在core-site.xml文件的<configuration></configuration>标签里面添加以下内容:
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
7、编辑hdfs-site.xml文件,使用命令:vim hdfs-site.xml,编辑后的效果如下图:
即在hdfs-site.xml文件的<configuration></configuration>标签里面添加以下内容:
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
8、编辑mapred-site.xml文件,使用命令:vim mapred-site.xml,编辑后的效果如下图:
即在mapred-site.xml文件的<configuration></configuration>标签里面添加以下内容:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
9、在/etc/profile文件中配置hadoop的环境变量,使用命令:vim /etc/profile,编辑后的效果如下图:
即在/etc/profile文件中进行以下内容的修改:
JAVA_HOME=/opt/jdk1.7
PATH=/opt/jdk1.7/bin:/opt/hadoop-1.2.1/bin:$PATH
CLASSPATH=.:/opt/jdk1.7/lib/dt.jar:/opt/jdk1.7/lib/tools.jar
CATALINA_HOME=/opt/tomcat7
HADOOP_HOME=/opt/hadoop-1.2.1
export JAVA_HOME PATH CLASSPATH CATALINA_HOME HADOOP_HOME
以上的红色字体即是对hadoop的配置,其它内容是对jdk和tomcat的配置,配置详情请参见我的另外一篇博客《在CentOS中安装jdk和tomcat,并配置环境变量》;
10、输入命令:source /etc/profile,回车,使配置生效;
11、输入命令:hadoop,回车,得到以下效果:
12、hadoop这个命令在/opt/hadoop-1.2.1/bin目录下,在使用hadoop这个命令之前我们需要对其进行格式化操作,执行对其进行格式化操作的命令:hadoop namenode -format,执行完成后得到以下结果:
13、进入/opt/hadoop-1.2.1/bin目录,输入以下命令:./start-all.sh,启动hadoop,会提示是否继续执行,输入yes,回车就ok了,还会提示输入本机的root登录密码,输入密码后回车就ok了,一直到最后结束;
14、输入命令:jps,回车,出现以下结果,证明hadoop已经正常的运行起来了:
15、输入命令: hadoop fs -ls /,查看hadoop的分布式文件系统(HDFS:Hadoop Distributed File System)里面有哪些文件目录,查询结果如下:
16、至此,就成功的在CentOS中安装好了hadoop-1.2.1,并且成功运行。
2、对安装包进行解压,使用命令:tar -zxvf hadoop-1.2.1.tar.gz;
3、完成上述步骤后,得到以下效果:
4、进入/opt/hadoop-1.2.1/conf目录下,有四个文件需要编辑,如下图:
5、编辑hadoop-env.sh文件,命令:vim hadoop-env.sh,编辑内容及位置如下图:
6、编辑core-site.xml文件,使用命令:vim core-site.xml,编辑后的效果如下图:
即在core-site.xml文件的<configuration></configuration>标签里面添加以下内容:
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
7、编辑hdfs-site.xml文件,使用命令:vim hdfs-site.xml,编辑后的效果如下图:
即在hdfs-site.xml文件的<configuration></configuration>标签里面添加以下内容:
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
8、编辑mapred-site.xml文件,使用命令:vim mapred-site.xml,编辑后的效果如下图:
即在mapred-site.xml文件的<configuration></configuration>标签里面添加以下内容:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
9、在/etc/profile文件中配置hadoop的环境变量,使用命令:vim /etc/profile,编辑后的效果如下图:
即在/etc/profile文件中进行以下内容的修改:
JAVA_HOME=/opt/jdk1.7
PATH=/opt/jdk1.7/bin:/opt/hadoop-1.2.1/bin:$PATH
CLASSPATH=.:/opt/jdk1.7/lib/dt.jar:/opt/jdk1.7/lib/tools.jar
CATALINA_HOME=/opt/tomcat7
HADOOP_HOME=/opt/hadoop-1.2.1
export JAVA_HOME PATH CLASSPATH CATALINA_HOME HADOOP_HOME
以上的红色字体即是对hadoop的配置,其它内容是对jdk和tomcat的配置,配置详情请参见我的另外一篇博客《在CentOS中安装jdk和tomcat,并配置环境变量》;
10、输入命令:source /etc/profile,回车,使配置生效;
11、输入命令:hadoop,回车,得到以下效果:
12、hadoop这个命令在/opt/hadoop-1.2.1/bin目录下,在使用hadoop这个命令之前我们需要对其进行格式化操作,执行对其进行格式化操作的命令:hadoop namenode -format,执行完成后得到以下结果:
13、进入/opt/hadoop-1.2.1/bin目录,输入以下命令:./start-all.sh,启动hadoop,会提示是否继续执行,输入yes,回车就ok了,还会提示输入本机的root登录密码,输入密码后回车就ok了,一直到最后结束;
14、输入命令:jps,回车,出现以下结果,证明hadoop已经正常的运行起来了:
15、输入命令: hadoop fs -ls /,查看hadoop的分布式文件系统(HDFS:Hadoop Distributed File System)里面有哪些文件目录,查询结果如下:
16、至此,就成功的在CentOS中安装好了hadoop-1.2.1,并且成功运行。
相关文章推荐
- CentOS安装配置Hadoop 1.2.1(伪分布模式)
- CentOS下安装配置NFS并通过Java进行文件上传下载
- 一、Hadoop单机版standalone的安装与配置(Hadoop1.2.1,CentOS6.5)
- CentOS6.5+hadoop1.2.1安装配置测试记录
- hadoop分布式安装部署详细视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)
- CentOS安装和配置Rsync进行文件同步
- hadoop分布式安装部署详细视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)
- 配置文件、虚拟机-如何使用vagrant在虚拟机安装hadoop集群-by小雨
- Hadoop集群(第1期)_CentOS安装配置
- centos 6.3安装nginx 配置文件服务器
- hadoop学习笔记1--centos6.2 64位 最小化(minimal)安装配置
- Hadoop 安装(1) CENTOS 安装与配置
- (一)配置hadoop-------vm虚拟机中安装CentOS5.5,并且安装和配置jdk1.6
- Centos6.4-Hadoop1.2.1-Hbase-0.95.2 配置分布式服务器
- CentOS 6.0 安装配置rails 2.3.11 + redmine 1.2.1 笔记[转]
- Ubuntu下 Hadoop 1.2.1 配置安装
- 配置文件hadoop安装以及配置
- 安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨
- 在windows安装hadoop时的文件配置及注意事项
- VMware安装CentOS 6.2之后,进行简单的网络配置