hadoop伪分布安装
2012-07-30 20:18
155 查看
安装ssh
apt-get install ssh
安装rsync
apt-get install rsync
配置ssh免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
验证是否成功
ssh localhost
下载Hadoop1.0.0,JDK
新建 linux 终端,建立app目录,Java和Hadoop都将安装在此目录中。
mkdir /home/app
接下来,安装Java和Hadoop,Hadoop解压即可。
cd /home/app
chmod +x jdk-6u30-linux-i586.bin
./jdk-6u30-linux-i586.bin
tar zxf hadoop-1.0.0-bin.tar.gz
配置JDK环境变量
vi /etc/profile
增加下面语句到最后
export JAVA_HOME=/home/app/jdk1.6.0_30
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
接下来开始配置Hadoop
进入Hadoop目录
cd /home/app/hadoop-1.0.0
修改配置文件,指定JDk安装路径
vi conf/hadoop-env.sh
export JAVA_HOME=/home/app/jdk1.6.0_30
修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
vi conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
vi conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令
bin/hadoop namenode -format
然后启动Hadoop,输入命令
bin/start-all.sh
这个命令为所有服务全部启动。
最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址: http://localhost:50030 (MapReduce的Web页面) http://localhost:50070 (HDfS的web页面)
如果都能查看,说明安装成功。
1:按上述步骤安装完之后为了避免使用bin/hadoop,而能直接用hadoop和start-all.sh等命令,可以再/etc/profile中写入
JAVA_HOME=/usr/jdk1.6.0_25
JRE_HOME=/usr/jdk1/jre
ANT_HOME=/usr/apache-ant-1.8.4
CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$ANT_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$ANT_HOME/bin:$HADOOP_HOME/bin:$PATH
export JAVA_HOME JRE_HOME CLASSPATH PATH ANT_HOME HADOOP_HOME
2:还要注意写/etc/hosts
127.0.0.1 localhost.localdomain localhost
apt-get install ssh
安装rsync
apt-get install rsync
配置ssh免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
验证是否成功
ssh localhost
下载Hadoop1.0.0,JDK
新建 linux 终端,建立app目录,Java和Hadoop都将安装在此目录中。
mkdir /home/app
接下来,安装Java和Hadoop,Hadoop解压即可。
cd /home/app
chmod +x jdk-6u30-linux-i586.bin
./jdk-6u30-linux-i586.bin
tar zxf hadoop-1.0.0-bin.tar.gz
配置JDK环境变量
vi /etc/profile
增加下面语句到最后
export JAVA_HOME=/home/app/jdk1.6.0_30
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
接下来开始配置Hadoop
进入Hadoop目录
cd /home/app/hadoop-1.0.0
修改配置文件,指定JDk安装路径
vi conf/hadoop-env.sh
export JAVA_HOME=/home/app/jdk1.6.0_30
修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
vi conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
vi conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令
bin/hadoop namenode -format
然后启动Hadoop,输入命令
bin/start-all.sh
这个命令为所有服务全部启动。
最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址: http://localhost:50030 (MapReduce的Web页面) http://localhost:50070 (HDfS的web页面)
如果都能查看,说明安装成功。
1:按上述步骤安装完之后为了避免使用bin/hadoop,而能直接用hadoop和start-all.sh等命令,可以再/etc/profile中写入
JAVA_HOME=/usr/jdk1.6.0_25
JRE_HOME=/usr/jdk1/jre
ANT_HOME=/usr/apache-ant-1.8.4
CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$ANT_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$ANT_HOME/bin:$HADOOP_HOME/bin:$PATH
export JAVA_HOME JRE_HOME CLASSPATH PATH ANT_HOME HADOOP_HOME
2:还要注意写/etc/hosts
127.0.0.1 localhost.localdomain localhost
相关文章推荐
- centos7 安装hadoop:伪分布式配置、全分布模式配置
- hadoop1.2.1伪分布模式安装教程
- hadoop 2.6全分布安装
- [Hadoop系列]Hadoop的安装-2.伪分布模式
- 安装配置Hadoop 2.3伪分布
- ubuntu64位hadoop2.2.0全分布安装部署
- hadoop 2.6全分布安装
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- CentOS下Hadoop伪分布模式安装笔记
- Hadoop学习笔记(十三)---Hbase的伪分布安装及配置
- Hadoop的伪分布和完全分布安装配置过程
- Hadoop1.X伪分布安装
- Linux CentOS下Hadoop伪分布模式安装笔记
- hadoop1.2.1伪分布模式安装教程
- Hadoop的安装与配置(虚拟机中的伪分布模式)
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- mac下安装伪分布hadoop2.6.0和hbase1.0.1.1
- 二、Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- hadoop: hbase1.0.1.1 伪分布安装
- hadoop学习第二天之伪分布模式安装(下)