Hadoop2安装——单机模式
2012-12-13 12:04
513 查看
Hadoop有三种模式 单机模式、伪分布模式和完全分布模式
这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。
Hadoop 网址http://hadoop.apache.org/ OSC地址 http://www.oschina.net/p/hadoop
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下载的版本是hadoop-2.0.2-alpha
安装前确定java安装 略
一、拷贝到/usr/local 解压 hadoop
目录结构和配置文件这里就 省略()
二、修改配置文件 hadoop-env.sh
Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下,由于默认情况下是单机模式,一般不用做修改就可以直接做第三步测试实例,下面只是安装实际情况修改。
1、在hadoop中配置JAVA_HOME
默认的是export JAVA_HOME=${JAVA_HOME} 如果原来在环境变量中配置过,就可用使用默认的,不需修改
/opt/java 也就是jdk安装的路径
2、修改java虚拟机的类存
原来启动JVM时配置的最大内存是128m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小
如果不需要也不必修改。
export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"
三、运行实例 Hello Hadoop
切换到该安装目录下,建立要上传到hadoop的两个文件 test1.txt、test2.txt
运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数
bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output
查看结果
hadoop 1
hello 2
world 1
OK,Hadoop单机模式就OK了
这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。
Hadoop 网址http://hadoop.apache.org/ OSC地址 http://www.oschina.net/p/hadoop
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下载的版本是hadoop-2.0.2-alpha
安装前确定java安装 略
一、拷贝到/usr/local 解压 hadoop
1 | cp hadoop- 2.0 . 2 -alpha.tar.gz /usr/local |
2 | cd /usr/local |
3 | tar -zxvf hadoop- 2.0 . 2 -alpha.tar.gz |
二、修改配置文件 hadoop-env.sh
Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下,由于默认情况下是单机模式,一般不用做修改就可以直接做第三步测试实例,下面只是安装实际情况修改。
1、在hadoop中配置JAVA_HOME
默认的是export JAVA_HOME=${JAVA_HOME} 如果原来在环境变量中配置过,就可用使用默认的,不需修改
1 | export JAVA_HOME=/opt/java |
2、修改java虚拟机的类存
原来启动JVM时配置的最大内存是128m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小
如果不需要也不必修改。
export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"
1 | export HADOOP_CLIENT_OPTS= "-Xmx512m $HADOOP_CLIENT_OPTS" |
切换到该安装目录下,建立要上传到hadoop的两个文件 test1.txt、test2.txt
1 | mkdir input |
2 | cd input |
3 | echo "hello world" > test1.txt |
4 | echo "hello hadoop" > test2.txt |
5 | cd .. |
1 | $bin/hadoop jar /usr/local/hadoop- 2.0 . 2 -alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples- 2.0 . 2 -alpha.jar wordcount input output |
查看结果
1 | $cat output/* |
hello 2
world 1
OK,Hadoop单机模式就OK了
相关文章推荐
- hadoop安装--单机模式
- Ubuntu kylin-14.04 下配置 Hadoop 二:安装hadoop(单机模式)
- Hadoop单机模式的伪分布式安装
- Hadoop初识--Hadoop单机模式安装和环境配置
- ubuntu 下 Hadoop1.0.4 安装过程 (单机伪分布模式)
- 【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)
- Hadoop单机模式安装
- Hadoop单机(独立)模式的安装与配置
- Hadoop单机模式安装-(2)安装Ubuntu虚拟机
- Hadoop单机模式中Hive安装配置
- 大数据 --> 安装Hadoop-单机模式(1)
- 安装单机模式Hadoop-2.6.3(1)
- Ubuntu单机模式安装Hadoop——亲验
- Hadoop初识--Hadoop单机模式安装和环境配置
- Ubuntu下安装Hadoophadoop-2.8.0(单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Hadoop2安装——单机模式
- 在Ubuntu上安装Hadoop(单机模式)
- Hadoop单机模式安装入门(Ubuntu系统)
- Hadoop初识--Hadoop单机模式安装和环境配置