hadoop单机安装与分布式安装
2015-09-03 14:30
253 查看
1.环境介绍
操作系统 centos6.5 64位uname -a Linux t1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
2.安装jdk
wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm rpm -ivh jdk-7u79-linux-x64.rpm
设置环境变量
vi /etc/profile
在文件的最下面输入如下内容
#设置环境变量 export JAVA_HOME=/usr/local/jdk1.7.0_15 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
让设置生效 source /etc/profile
验证jdk是否安装成功 java -version
java version "1.7.0_15" Java(TM) SE Runtime Environment (build 1.7.0_15-b03) Java HotSpot(TM) 64-Bit Server VM (build 23.7-b01, mixed mode)
3.配置ssh免密码登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys #检测 ssh localhost
4.单节点方式配置
直接启动hadoop无需配置,hadoop被认为是一个单独的java进程,调试的时候经常用这种方式。5.伪分布式配置
指定jdk的位置 vi conf/hadoop-env.sh export JAVA_HOME="/usr/local/jdk1.7.0_15" #配置hdfs地址 vi conf/core-site.xml <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hdp/tmp</value> </property> 设置备份方式,单机版设置为1,集群中一般为3 vi conf/hdfs-site.xml <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> #设置MapReduce任务中jobTracker的地址 <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> #hdfs分卷格式化 bin/hadoop namenode -format #启动hadoop bin/start-all
6.验证
http://localhost:50030 (MapReduce的web页面) http://localhost:50070 (hdfs的web页面)jps
3474 JobTracker 3387 SecondaryNameNode 3167 NameNode 3277 DataNode 3633 Jps 3587 TaskTracker
备注:可以只启动hdfs(start-dfs.sh)或 mapreduce (start-mapred.sh)
7.分布式安装
1)三台机器安装好jdk,被设置环境变量
2)设置主机名和ip之间的对应关系
vi /etc/host
127.0.0.1 localhost
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
vi /etc/hostname
#你的机器名(如master,slave1)
3)配置ssh免密码登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys scp authorized_keys hadoop@slave1:/home/hadoop/.ssh/ scp authorized_keys hadoop@slave2:/home/hadoop/.ssh/ #验证 ssh slave1 ssh slave2
4)配置hadoop
vi conf/core-site.xml <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <!--hadoop存储数据的位置 此文件夹需手动创建--> <value>/home/hadoop/tmp</value> </property> vi conf/hdfs-site.xml <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> 设置MapReduce任务中jobTracker的地址 <property> <name>mapred.job.tracker</name> <value>master:9001</value> </property> vi conf/masters master vi conf/slaves slave1 slave2
5)启动
bin/hadoop namenode -format bin/start-all
6)查看集群状态
bin/hadoop dfsadmin -report
http://master:50070 http://master:50030
相关文章推荐
- 在Centos中安装并配置phpMyAdmin
- OpenWRT发送邮件(支持TLS)
- 又拍网架构中的分库设计
- haproxy反向代理
- Linux进程查看与管理
- OSX和IOS开发Shell命令整理
- Linux 显示文本指定行内容
- Linux战地日记——虚拟机及Linux的安装
- ECSHOP添加右侧菜单和权限
- jdeveloper优化:
- unix/linux编程实践教程------学习笔记(第二章)
- 快捷键jdeveloper
- 后台开发面试准备1:Linux命令
- OpenGL GLSL 一维纹理的使用
- linux下截取整个网页
- centos6系统启动流程
- nginx在fedora上的使用
- Nginx负载均衡和LVS负载均衡的比较分析
- top命令
- Linux学习之RPM包管理