Hadoop2安装——单机模式
2012-12-02 10:43
387 查看
Hadoop有三种模式 单机模式、伪分布模式和完全分布模式
这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。
Hadoop 网址http://hadoop.apache.org/ OSC地址 http://www.oschina.net/p/hadoop
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下载的版本是hadoop-2.0.2-alpha
安装前确定java安装 略
一、拷贝到/usr/local 解压 hadoop
cp hadoop-2.0.2-alpha.tar.gz /usr/local
cp /usr/local
tar -zxvf hadoop-2.0.2-alpha.tar.gz
二、修改配置文件 hadoop-env.sh
Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下,由于默认情况下师单机模式,一般不用做修改就可以直接做第三步测试实例,下面只是安装实际情况修改。
1、在hadoop中配置JAVA_HOME
默认的是export JAVA_HOME=${JAVA_HOME} 如果原来在环境变量中配置过,就可用使用默认的,不需修改
/opt/java 也就是jdk安装的路径
2、修改java虚拟机的类存
原来启动JVM时配置的最大内存是128m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小
如果不需要也不必修改。
export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"
三、运行实例 Hello Hadoop
切换到该安装目录下,建立要上传到hadoop的两个文件 test1.txt、test2.txt
mkdir input
cd input
echo "hello world" > test1.txt
echo "hello hadoop" > test2.txt
cd ..
运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数
$bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output
查看结果
$cat output/*
hadoop 1
hello 2
world 1
OK,Hadoop单机模式就OK了
这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。
Hadoop 网址http://hadoop.apache.org/ OSC地址 http://www.oschina.net/p/hadoop
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下载的版本是hadoop-2.0.2-alpha
安装前确定java安装 略
一、拷贝到/usr/local 解压 hadoop
cp hadoop-2.0.2-alpha.tar.gz /usr/local
cp /usr/local
tar -zxvf hadoop-2.0.2-alpha.tar.gz
二、修改配置文件 hadoop-env.sh
Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下,由于默认情况下师单机模式,一般不用做修改就可以直接做第三步测试实例,下面只是安装实际情况修改。
1、在hadoop中配置JAVA_HOME
默认的是export JAVA_HOME=${JAVA_HOME} 如果原来在环境变量中配置过,就可用使用默认的,不需修改
1
export JAVA_HOME=/opt/java
/opt/java 也就是jdk安装的路径
2、修改java虚拟机的类存
原来启动JVM时配置的最大内存是128m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小
如果不需要也不必修改。
export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"
1
export HADOOP_CLIENT_OPTS=
"-Xmx512m $HADOOP_CLIENT_OPTS"
三、运行实例 Hello Hadoop
切换到该安装目录下,建立要上传到hadoop的两个文件 test1.txt、test2.txt
mkdir input
cd input
echo "hello world" > test1.txt
echo "hello hadoop" > test2.txt
cd ..
运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数
$bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output
查看结果
$cat output/*
hadoop 1
hello 2
world 1
OK,Hadoop单机模式就OK了
相关文章推荐
- Hadoop单机模式安装
- Hadoop 1.x 单机模式安装与测试
- Ubuntu14.04下安装hadoop2.6.0(单机模式)
- Hadoop基础入门教程-Hadoop单机模式安装
- Ubuntu 安装 Hadoop(单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- hadoop1安装——单机模式
- 小白在windows7下安装hadoop2.6.4(单机模式和伪分布式)
- Hadoop初识--Hadoop单机模式安装和环境配置
- Hadoop单机(独立)模式的安装与配置
- Ubuntu下安装Hadoophadoop-2.8.0(单机模式)
- Linux Hadoop2.7.3 安装(单机模式) 一
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Linux Hadoop2.7.3 安装(单机模式) 一
- 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- ubuntu_hadoop 单机模式安装
- 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Hadoop初识--Hadoop单机模式安装和环境配置
- Hadoop 2.x 版本的单机模式安装
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)