Centos 6.5 下Hadoop 1.2.1单节点环境的创建
2014-11-25 16:36
316 查看
安装以及配置Java
JDK安装
#chmod 777 jre-6u31-linux-x64-rpm.bin#./jre-6u31-linux-x64-rpm.bin添加java环境变量
#vim /etc/profile#最后添加# set java environmentexportJAVA_HOME=/usr/java/jre1.6.0_31exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportPATH=$PATH:$JAVA_HOME/bin生效java变量:#source /etc/profile# java -version添加hadoop用户
在所有的机器上都建立相同的目录,也可以就建立相同的用户,最好是以该用户的home路径来做hadoop的安装路径。安装路径都是:/home/hadoop/hadoop-1.2.1#useradd hadoop#passwd hadoop #密码也为hadoop无密码登陆
# su - hadoop $ ssh-keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys下载安装hadoop#su - hadoop#wget http://apache.stu.edu.tw/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz#tar -zxvf hadoop-1.2.1.tar.gz我的安装目录为:/home/hadoop/hadoop-1.2.1为了方便,使用hadoop命令或者start-all.sh等命令,修改节点上/etc/profile 新增以下内容:export HADOOP_HOME=/home/hadoop/hadoop-1.2.1export PATH=$PATH:$HADOOP_HOME/bin修改完毕后,执行source /etc/profile 来使其生效。
配置Hadoop
配置conf/hadoop-env.sh文件,添加:export JAVA_HOME=/usr/java/jre1.6.0_31这里修改为你的jdk的安装位置。测试hadoop安装
执行hadoop自带的例子来检测hadoop是否安装成功cd $HADOOP_HOME/bin/home/hadoop/hadoop-1.2.1/bin/hadoop jar ./hadoop-1.2.1/hadoop-examples-1.2.1.jar wordcount ./hadoop-1.2.1/conf/ /tmp/out修改配置文件
vi /home/hadoop/hadoop-1.2.1/conf/core-site.xml<configuration><property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>vi /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>vi /home/hadoop/hadoop-1.2.1/conf/mapred-site.xml<configuration><property><name>mapred.job.tracker</name><value>localhost:8021</value></property></configuration>格式化HDFShadoop namenode -format启动服务start-dfs.shstart-mapred.sh停止服务stop-dfs.shstop-mapred.sh验证Hadoop NameNode 默认端口是50070访问port 50090 得到 secondary namenode的相关信息.访问port 50075 得到 DataNode的相关信息.相关文章推荐
- windows 8.0上eclipse 4.4.0 配置centos 6.5 上的hadoop2.2.0开发环境
- 虚拟机centos6.5 --hadoop2.6集群环境搭建
- 搭建hadoop环境,CentOS6.5安装Hadoop2.7.3完整流程
- 虚拟机Hadoop-2.7.1环境搭建(CentOS-6.5)
- CentOS6.5环境下编译hadoop2.8.1源码
- Win 7+ CentOS 6.5 + Hadoop 2.6.0开发环境搭建
- centos6.5 搭建hadoop 开发环境(单台服务器)
- 基于CentOS6.5搭建hadoop伪分布式环境
- centos6.5配置Hadoop环境,运行wordcount例子
- 搭建hadoop完全分布式环境,CentOS6.5安装Hadoop2.7.3完整流程
- Hadoop入门01--CentOS6.5环境配置
- [整理]Centos6.5 + hadoop2.6.4环境搭建
- Centos 6.5 X64 环境下编译 hadoop 2.6.0 --已验证
- CentOS6.5搭建Hadoop2.7集群环境前要注意的问题
- Centos6.5基本环境以及jdk1.7安装配置(hadoop平台)
- Hadoop学习6_CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
- CentOS6.5虚拟机下搭建Hadoop伪分布式环境
- windows 8.0上eclipse 4.4.0 配置centos 6.5 上的hadoop2.2.0开发环境
- CentOS6.5环境部署Hadoop2.8.1集群(HA)
- CentOs6.5环境下Hadoop集群免密登录配置