storm集群部署
2017-09-19 22:07
162 查看
1、安装部署zookeeper集群:
详情见:http://blog.csdn.net/liuxiao723846/article/details/78035189
假设zookeeper集群安装到了centos1、centos2、centos3 这三台服务器上。
2、安装storm:
0.9之前的Storm版本需要单独安装ZeroMQ和JZMQ,0.9之后的版本不需要安装。我们安装的是0.9.6版本。
1)服务器准备:
A.centos1:storm的nimbus节点(相当于hadoop的jobtractor)
B.centos2:storm的supervisor节点
将集群中机器的防火墙关掉;修改/etc/hosts文件,设置IP和主机名的映射关系。并且安装好jdk1.7,和python2.7,以及环境变量。
2)下载storm:(步骤2-4是在centos1服务器上进行的操作)
wget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz
解压:tar -xvzf apache-storm-0.9.6.tar.gz -C /usr/local
软连接:cd /usr/local ln -s apache-storm-0.9.6/ storm
3)环境变量:
vim /etc/profile
export STORM_HOME=/usr/local/apache-storm-0.9.6/
export PATH=$PATH:$HBASE_HOME/bin:$STORM_HOME/bin
source /etc/profile
4)配置storm:
首先,启动zk;
vim STORM_HOME/conf/storm.yaml
########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "centos1"
- "centos2"
- "centos3"
nimbus.host: "centos1"
storm.local.dir: "/data/storm/data"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703注:开头的空格以及冒号之后也有空格
创建目录:mkdir -p /data/storm/data
5)将storm目录拷贝到其他集群:
scp -rp /usr/local/storm/ root@centos2:/usr/local/
然后登录到centos2,加软连接、配置环境变量
3、启动storm集群:
在centos1上运行(nimbus):storm nimbus &
在centos2上运行(supervisor)storm supervisor &
在centos1上运行(nimbus):storm
ui &
在centos1上运行(nimbus):storm
logviewer &
1)执行jps确认是storm集群启动成功,看是否存在nimbus进程和supervisor进程,以及是否有core进程(对应ui启动成功),是否有logviewer进程。
2)在浏览器中输入运行了nimbus进程的机器ip地址,端口号为8080,可以看到storm集群信息。
详情见:http://blog.csdn.net/liuxiao723846/article/details/78035189
假设zookeeper集群安装到了centos1、centos2、centos3 这三台服务器上。
2、安装storm:
0.9之前的Storm版本需要单独安装ZeroMQ和JZMQ,0.9之后的版本不需要安装。我们安装的是0.9.6版本。
1)服务器准备:
A.centos1:storm的nimbus节点(相当于hadoop的jobtractor)
B.centos2:storm的supervisor节点
将集群中机器的防火墙关掉;修改/etc/hosts文件,设置IP和主机名的映射关系。并且安装好jdk1.7,和python2.7,以及环境变量。
2)下载storm:(步骤2-4是在centos1服务器上进行的操作)
wget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz
解压:tar -xvzf apache-storm-0.9.6.tar.gz -C /usr/local
软连接:cd /usr/local ln -s apache-storm-0.9.6/ storm
3)环境变量:
vim /etc/profile
export STORM_HOME=/usr/local/apache-storm-0.9.6/
export PATH=$PATH:$HBASE_HOME/bin:$STORM_HOME/bin
source /etc/profile
4)配置storm:
首先,启动zk;
vim STORM_HOME/conf/storm.yaml
########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "centos1"
- "centos2"
- "centos3"
nimbus.host: "centos1"
storm.local.dir: "/data/storm/data"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703注:开头的空格以及冒号之后也有空格
创建目录:mkdir -p /data/storm/data
5)将storm目录拷贝到其他集群:
scp -rp /usr/local/storm/ root@centos2:/usr/local/
然后登录到centos2,加软连接、配置环境变量
3、启动storm集群:
在centos1上运行(nimbus):storm nimbus &
在centos2上运行(supervisor)storm supervisor &
在centos1上运行(nimbus):storm
ui &
在centos1上运行(nimbus):storm
logviewer &
1)执行jps确认是storm集群启动成功,看是否存在nimbus进程和supervisor进程,以及是否有core进程(对应ui启动成功),是否有logviewer进程。
2)在浏览器中输入运行了nimbus进程的机器ip地址,端口号为8080,可以看到storm集群信息。
相关文章推荐
- storm集群部署和配置过程详解
- Storm集群安装部署步骤【详细版】
- Storm集群安装部署步骤【详细版】
- Storm集群安装部署步骤【详细版】
- Storm——集群部署
- Storm集群安装部署步骤【详细版】
- Storm集群环境安装部署
- 贫农的大数据之三(Storm集群部署)
- storm集群部署和配置过程详解
- 1.1 Storm集群安装部署步骤
- Storm1.0集群部署
- Storm学习笔记-集群环境安装部署
- Storm集群安装部署步骤
- Storm集群安装部署详细手册
- Storm集群安装部署步骤【详细版】
- storm1.0集群部署(含HA)
- Storm集群安装部署步骤【详细版】
- storm集群安装部署(centos下)
- storm集群部署
- Storm集群安装部署步骤【详细版】