storm0.9.1 集群环境安装配置

Storm安装配置

三台机器 131,132,133

需要安装 jdk，python,autoconf-2.64,zeromq-3.2.2,jzmq

安装jdk和python不详细说。

1 安装 autoconf-2.64,

1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648

上传到lunix上的工作目录 比如 /home/bigdata/

解压 tar -xvf autoconf-2.64.tar.bz2

进入目录 cd autoconf-2.64

执行 $ ./configure

$ make

$ make install

2 安装zeromq

2.1 下载 http://download.zeromq.org/zeromq-3.2.2.tar.gz

上传到 /home/bigdata/

解压 tar zxf zeromq-3.2.2.tar.gz

进入目录 zeromq-3.2.2

执行 $ ./configure

$ make

$ make install

3 安装jzmq

3.1 因为这个是git项目，可以通过安装git下载，我是在window上git下载的

git clone git://github.com/nathanmarz/jzmq.git

下载下来 有个 jzmq的文件夹

上传前把 jzmq/autogen.sh 的文件格式由doc 改成 lunix

上传到 /home/bigdata/

赋权限 chmod -R 755 jzmq

Cd /home/bigdata/jzmq/

$ ./autogen.sh

$ ./configure

$ touch src/classdist_noinst.stamp

$ cd src/org/zeromq/

$ javac *.java

$ cd /home/bigdata/jzmq

$ make

$ make install

$echo /usr/local/lib > /etc/ld.so.conf.d/local.conf

$ldconfig

$echo CLASSPATH=/usr/local/share/java/zmq.jar:. >> /etc/environment

$echo export LD_LIBRARY_PATH=/usr/local/lib > /etc/profile.d/ldlibrarypath.sh

4 安装zookeeper集群

网上搜索

5 安装storm集群

5.1 下载 http://storm.incubator.apache.org/downloads.html

下载 apache-storm-0.9.1-incubating

上传到 /home/bigdata/

5.2 解压 tar -xvf apache-storm-0.9.1-incubating.tar.gz

改名 mv apache-storm-0.9.1-incubating storm

进入目录 cd /home/bigdata/storm/conf/

Vi storm.yaml 我的配置是

########### These MUST be filled in for a storm configuration

storm.zookeeper.servers:

- "192.168.119.131"

- "192.168.119.132"

- "192.168.119.133"

#

nimbus.host: hadoop2

storm.local.dir: /home/bigdata/storm/workdir

ui.port : 8088

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

5.3 配置环境变量 (三台机器分别配置)

vi /etc/profile

export STORM_HOME=/home/bigdata/storm

PATH= $STORM_HOME/bin

source /etc/profile

5.4 复制到远程机

scp -r storm root@192.168.119.132:/home/bigdata/

scp -r storm root@192.168.119.133:/home/bigdata/

5.5 启动storm

先启动zookeeper集群

在主机 131执行 storm nimbus

新开启 srt 执行 jps

6008 Jps

4233 QuorumPeerMain

5496 core

5289 nimbus

然后在132和 133机

分别在 storm supervisor

5455 supervisor

5912 Jps

4244 QuorumPeerMain

在主机131 执行 storm ui

http://192.168.119.131:8088



参考网络一些文章：
http://blog.csdn.net/willfcareer/article/details/8610122 http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html http://blog.csdn.net/comaple/article/details/7896167 http://my.oschina.net/BreathL/blog/84165