hadoop入门之单机版环境搭建(多图)
2011-12-17 20:59
489 查看
系统环境:redhat enterprise linux 4
1) Java环境的安装与配置
从java.sun.com下载jdk-6uxx-linux-i586.bin。
解压java
设置环境变量
在profile 文件中加入:
export PATH=/root/jdk1.6.0_14/bin:$PATH
export JAVA_HOME=/root/jdk1.6.0_14
执行下面命令,让环境变量生效
测试java是否安装成功
看到以上信息证明你的java >已经安装成功
2) 安装Hadoop
从hadoop官网下载hadoop-0.20.1.tar.gz
在hadoop-env.sh 中添加export JAVA_HOME=/root/jdk1.6.0_14
测试hadoop是否安装成功
3) 配置单机环境下的hadoop
a) 编辑配置文件
b) 设置ssh为不需要手动输入密码的方式登陆
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
c)格式化一个新的分布式文件系统
$ cd hadoop-0.20.1
$ bin/hadoop namenode –format
d)启动 hadoop 进程。控制台上的输出信息应该显示启动了 namenode, datanode, secondary namenode, jobtracker, tasktracker。启动完成之后,通过 ps –ef 应该可以看到启动了5个新的 java 进程
1) Java环境的安装与配置
从java.sun.com下载jdk-6uxx-linux-i586.bin。
解压java
设置环境变量
在profile 文件中加入:
export PATH=/root/jdk1.6.0_14/bin:$PATH
export JAVA_HOME=/root/jdk1.6.0_14
执行下面命令,让环境变量生效
测试java是否安装成功
看到以上信息证明你的java >已经安装成功
2) 安装Hadoop
从hadoop官网下载hadoop-0.20.1.tar.gz
在hadoop-env.sh 中添加export JAVA_HOME=/root/jdk1.6.0_14
测试hadoop是否安装成功
3) 配置单机环境下的hadoop
a) 编辑配置文件
b) 设置ssh为不需要手动输入密码的方式登陆
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
c)格式化一个新的分布式文件系统
$ cd hadoop-0.20.1
$ bin/hadoop namenode –format
d)启动 hadoop 进程。控制台上的输出信息应该显示启动了 namenode, datanode, secondary namenode, jobtracker, tasktracker。启动完成之后,通过 ps –ef 应该可以看到启动了5个新的 java 进程
$ bin/start-all.sh:yes">
$ ps –ef
e)运行 wordcount 应用
$ cd hadoop-0.20.1
$ mkdir test-txt
$ cd test-txt
#在 test-txt 目录下创建两个文本文件, WordCount 程序将统计其中各个单词出现次数
$ echo "hello world, bye , world." >file1.txt
$ echo "hello hadoop, goodbye , hadoop" >file2.txt
$ cd ..
$ bin/hadoop dfs -put ./test-txt input
#将本地文件系统上的./test-txt目录拷到 HDFS 的根目录上,目录名改为 input
#执行 bin/hadoop dfs –help 可以学习各种 HDFS 命令的使用。
$ bin/hadoop jar hadoop-0.20.1-examples.jar wordcount input output
#查看执行结果:
#将文件从 HDFS 拷到本地文件系统中再查看:
$ bin/hadoop dfs -get output output
$ cat output/*
#也可以直接查看
$ bin/hadoop dfs -cat output/*
$ bin/stop-all.sh #停止hadoop进程
f)运行效果
相关文章推荐
- hadoop入门之单机版环境搭建(多图)
- hadoop入门之单机版环境搭建(多图)
- hadoop入门之单机版环境搭建[转]
- hadoop入门之单机版环境搭建(多图)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) - 狂奔的蜗牛 - 博客频道 - CSDN.NET http://blog.csdn.net/hitwengqi/article/detai
- hadoop学习(一)------------搭建单机本地运行环境
- Hbase入门笔记( 二 )-- Hadoop单机环境配置
- 王家林 云计算分布式大数据Hadoop实战高手之路---从零开始 第二讲:全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Hbase入门笔记( 二 )-- Hadoop单机环境配置
- Hadoop系列~环境搭建,单机/伪分布式配置(一)
- Hadoop 2.6.0 HBase 0.98 VMware单机伪分布式式环境搭建(作业用)
- linux(centos5.8)环境下Hadoop 2.0.2单机部署以及Eclipse环境搭建
- Hadoop入门——环境搭建
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Hadoop入门系列(3) -- Eclipse+Hadoop开发环境搭建
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (一) Cygwin(64位)的安装 + ssh的配置
- Hadoop入门进阶课程3--Hadoop2.X64位环境搭建
- ubuntu12.04下hadoop单机模式和伪分布模式环境搭建
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)