伪分布式环境设置及zookeeper安装

安装vmware tools工具

打开虚拟机系统–选择”虚拟机”–”安装vmware tools”

$ su - root

# mount /dev/cdrom /mnt

# cp /mnt/VMwareTools-9.6.0-1294478.tar.gz /tmp/

# cd /tmp/

# tar zxf VMwareTools-9.6.0-1294478.tar.gz

# cd vmware-tools-distrib/

# ./vmware-install.pl [全部回车]

**系统环境准备

1、把网卡IP设置成静态 （NAT方式）

ifconfig # 查看网卡IP

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=yes # 把网卡设置成开机启动

BOOTPROTO=static # 把DHCP改为static

IPADDR=192.168.17.129

NETMASK=255.255.255.0

GATEWAY=192.168.17.2

2、设置DNS

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DNS1=192.168.17.2 #第一个DNS设置成跟网关地址一样

DNS2=202.96.209.5

service network restart # 把网络服务重启

3、修改主机名

** 集群内部一般主机名都是格式统一的

** hadoop里面主机名不支持下划线

hadoop-senior01.beifeng.com

hadoop-senior02.beifeng.com

hadoop-senior03.beifeng.com

# vi /etc/sysconfig/network
HOSTNAME=hadoop-senior01.beifeng.com

4、关闭防火墙、selinux

** 默认情况下,防火墙只开启了22号端口

# 关闭防火墙服务
# service iptables stop
# 设置成开机不启动
# chkconfig iptables off

# 关闭selinux
# vi /etc/sysconfig/selinux
SELINUX=disabled   把enforcing改成disabled

5、添加主机名的映射

** 后期需要时间主机名

# vi /etc/hosts

192.168.17.129 hadoop-senior01.beifeng.com

6、创建普通用户

** 后期所有操作都用该普通用户进行

# useradd beifeng

# echo 123456 | passwd –stdin beifeng

（xshell）

** 安装JDK

$ su - root

# mkdir /opt/modules # 用于软件安装目录

# mkdir /opt/softwares # 用于软件下载目录

# chown beifeng:beifeng /opt/modules/
# chown beifeng:beifeng /opt/softwares/

$ tar zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

# vi /etc/profile   (root用户)
## JAVA_HOME
JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin

卸载系统自带的JDK
# rpm -qa | grep -i java
# rpm -e --nodeps tzdata-java-2012j-1.el6.noarch
# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64

安装伪分布式

$ tar zxf hadoop-2.5.0.tar.gz -C /opt/modules/

ZooKeeper

hadoop – 大象

Hive – 蜜蜂

pig – 猪

HBase kafka …

…

** apache的顶级开源项目
** zookeeper.apache.org
** 开源、分布式集群
** 服务器数量是2n+1,允许服务器宕机个数为n(不影响整个集群的功能)     3台  5台  7台
** 为分布式应用提供协调服务
** 选举算法: FastLeaderElection --->  Fast Paxos
** 活动的投票数量过半就是leader
** 正常情况下，集群会选择出一个leader服务器,其他服务器角色是follower

zookeeper功能：

** 统一命名服务（Name Service）

** 配置管理（Configuration Management）

** 集群管理（Group Membership）

** 共享锁（Locks）/同步锁

角色：

leader ： 做决定、做决策

follower : 接受客户端请求, 投票

zookeeper安装：

1、解压：tar -zxvf zookeeper-3.4.5.tar.gz

2、修改配置文件

cd /opt/modules/zookeeper-3.4.5/conf

cp -a zoo_sample.cfg zoo.cfg

修改配置文件：
mkdir /opt/modules/zookeeper-3.4.5/zkData
vim zoo.cfg
dataDir=/opt/modules/zookeeper-3.4.5/zkData

3、启动zookeeper
** 单节点
bin/zkServer.sh start

JMX enabled by default
Using config: /opt/modules/zookeeper-3.4.5/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

$ bin/zkServer.sh status

zookeeper常用的几个命令：

bin/zkCli.sh –进入zookeeper

help –查看帮助

** ls /

** get /zookeeper/quota

create /test “123456”

** delete /test

history

sync /test

zookeeper地址：139...*:2181

zookeeper集群部署：

规划：

hadoop-senior01 hadoop-senior02 hadoop-senior03

zookeeper zookeeper zookeeper

配置：

1、修改zoo.cfg

dataDir=/opt/modules/zookeeper-3.4.5/zkData

server.1=192.168.17.129:2888:3888

server.2=192.168.17.130:2888:3888

server.3=192.168.17.131:2888:3888

2、添加myid文件

** 一定要在linux里面创建

$ vi zkData/myid

1

3、把zookeeper目录拷贝给其他集群服务器

scp−rzookeeper−3.4.5/hadoop−senior02.beifeng.com:/opt/modules/ scp -r zookeeper-3.4.5/ hadoop-senior03.beifeng.com:/opt/modules/

修改myid文件

hadoop-senior02 为 2

hadoop-senior03 为 3

4、依次启动所有集群服务

$ bin/zkServer.sh start

5、检查每个服务器的状态

$ bin/zkServer.sh status