Storm集群的搭建

Storm集群的搭建

1.集群规划

以三台服务器hadoop02、hadoop03、hadoop04为例(已部署好zookeeper)，集群规划如下所示：



2.下载软件包

http://storm.apache.org

3.解压并重命名

tar -zxvf apache-storm-0.9.7.tar.gz -C /home/hadoop/apps
mv apache-storm-0.9.7.tar.gz

4.修改环境变量

export STORM_HOME=/home/hadoop/apps/storm
export PATH=$PATH:$STORM_HOME/bin

5.修改配置文件

vi storm.yaml

#配置zookeeper
storm.zookeeper.servers:
- "hadoop02"
- "hadoop03"
- "hadoop04"
#指定文件路径
storm.local.dir: "/home/hadoop/data/stormdata"
#指定nimbus节点
nimbus.host: "hadoop02"
#指定slots端口号，个数一般与CPU核数一致
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

6.分发至集群其他节点

scp -r /home/hadoop/apps/storm hadoop@hadoop03:$PWD
scp -r /home/hadoop/apps/storm hadoop@hadoop04:$PWD

7.启动集群

在hadoop02上执行：

nohup storm ui > /dev/null 2>&1 &
nohup storm nimbus > /dev/null 2>&1 &

在hadoop02、hadoop03、hadoop04上执行：

nohup storm supervisor > /dev/null 2>&1 &