storm相关软件安装流程

1)zookeeper的安装

第一步:添加一个storm用户：

1.1useradd storm

1.2passwd storm

第二步：

2.1使用rz工具上传zookeeper压缩包

2.1使用tar命令解压zookeeper:tar -xvf zookeeper-3.4.6.storm.tar.gz

2.3进入到zookeeper-3.4.6目录下面：cd zookeeper-3.4.6

如下图所示

2.4进入到conf目录下：cd conf

2.5 使用Vim编辑器修改如下配置文件：vi conf/zoo.cfg

1）将dataDir修改为自己zookeeper的data的文件路径

2）将set logs的存放目录dataLogDir修改为自己的存放路径

3）将set server中的server1修改为自己的IP地址或者主机名（最好是IP地址）server1=192.168.108.129：4887:5887，同时将server2、server3前面加上#号注释掉，因为我们现在只是单节点：

#server.2=cluster-node-02:4887:5887

#server.3=cluster-node-03:4887:5887

2.6将权限修改为root用户下：su。并修改权限：chmod +x *

2.7 启动zookeeper：bin/zkServer.sh start

2.8 可以查看zookeeper启动状态：bin/zkServer.sh status。当出现Mode:standalone时也就意味着你已经启动成功了。

当然最后如果你想查看zookeeper的客户端的话，你可以选择启动客户端命令：bin/zkCli.sh -server

止于此，zookeeper已经安装完毕，下面我们可以简单介绍一下在zookeeper客户端的一些常用命令：如ls /用来查看当前zookeeper所包含的内容等

易错点：在启动zookeeper之前切记一定要修改权限：chmod +x *，否则会报错

2）编译工具maven的安装（这在我安装的时候小费了一点周折）

首先，我们应该先选择准备上传的maven压缩包；一般压缩包有两种格式：一个是.zip结尾的。另一个是.tar.gz结尾。（我个人选用的是后者）

第一步：使用rz工具上传maven的tar包

第二步;使用tar命令解压maven:tar -xvf apache-maven-3.3.9.tar.gz或者如果选择用.zip格式的压缩包可以用：unzip apache-maven-3.3.9 .zip

第三步：环境变量的配置：在apache-maven-3.3.9目录下使用如下命令：vi ~/.bash_profile

修改如下：export MVN_HOME=/home/storm/apache-maven-3.3.9 （选择自己的maven安装路径）

export PATH=$PATH:$MVN_HOME/bin（一定要把$HOME修改为$MVN_HOME）

第四步:进入zkui目录下开始安装maven：maven install即可安装完成(记得一定是在有网的状态下才可以下载安装)

第五步：创建一个软链接：

ln -s target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar zkui-2.0-SNAPSHOT-jar-wi

th-dependencies.jar

切记：一定要修改权限：chmod +x *

3)安装zkui工具

第一步：进入zkui目录下：cd zkui

第二步：进入vi config.cfg进行环境变量配置。将zkServer修改为：zkServer=192.168.108.129:2181。保存并退出

第三步：启动zkui：onhup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &

第四步：查看是否启动成功：jps -l.如果启动成功，则会出现以下内容（具体的节点号根据自己运行情况而定）：

5129 org.apache.zookeeper.server.quorum.QuorumPeerMain

25723 sun.tools.jps.Jps

7843 kafka.Kafka

3758 zkui-2.0-SNAPSHOT-jar-with-dependencies.jar

8006 kafka.producer.ConsoleProducer

第五步：登录账号："username":admin;"passwd":manager

4）安装kafka

第一步：使用rz工具上传kafka安装包：rz

第二步：解压安装包：unzip kafka_2.9.2-0.8.1.1.storm.zip

第三步：切换到 kafka_2.9.2-0.8.1.1下的config目录下：cd kafka_2.9.2-0.8.1.1/config

第四步:修改配置文件：vi log4j.properties.需要修改两处：

log4j.appender.D.File = /home/storm/kafka/kafka_2.9.2-0.8.1.1/logs/debug.

log4j.appender.E.File = /home/storm/kafka/kafka_2.9.2-0.8.1.1/logs/error.

vi server.properties 需要修改三处

broker.id=0；

host.name=master；（根据自己的主机名修改，不过也可以写主机IP地址）

zookeeper.connect=192.168.108.129:2181（根据自己主机的IP地址填写，后面的：2181不需要修改）

第五步：修改权限：chmod +x sbin/*(切记)

第六步：启动kafka服务：sbin/start-kafka.sh。启动后查看启动情况：jps -l

如果启动成功：5129 org.apache.zookeeper.server.quorum.QuorumPeerMain

29071 sun.tools.jps.Jps

7843 kafka.Kafka

3758 zkui-2.0-SNAPSHOT-jar-with-dependencies.jar

8006 kafka.producer.ConsoleProducer

5）从producer到consumer

第一步：创建一个topic，我的命名为test-zhangbin1

bin/kafka-topics.sh --create --zookeeper 192.168.108.129:2181 --replication-factor 1 --partitions 1 --topic test-zhangbin1

第二步：查看创建的topic

bin/kafka-topics.sh --list --zookeeper 192.168.108.129:2181

第三步：开启producer服务

bin/kafka-console-producer.sh --broker-list 192.168.108.129:9092 --topic test-zhangbin1

第四步：另开窗口开启consumer服务

bin/kafka-console-consumer.sh --zookeeper 192.168.108.129:2181 --topic test-zhangbin1

此时：你需要在producer端输入，然后在consumer端查看是否输出

第五步：再开窗口，开启logger服务

打开logger文件（需要提前上传），这一目录与kafka_2.9.2-0.8.1.1同级

vi shelllogger.sh 进行如下修改：

#log="{ \"time_local\": \"01/Nov/2015:00:01:01 +0800\", \"remote_addr\": \"182.92.77.57\", \"remote_user\": \"-\", \"body_bytes_sent\": \"5760\", \"request_time\": \"0.005\", \"status\": \"200\", \"request\": \"GET /jiayouserver/www/index.php\", \"request_method\":
\"GET\", \"http_referrer\": \"-\", \"body_bytes_sent\":\"5760\", \"http_x_forwarded_for\": \"-\", \"http_user_agent\": \"Wget/1.12 (linux-gnu)\" }"

log="INSERT INTO test (user,content) VALUES('zhou chuan','hello world');"

let "int++"

第六步:在logger端启动

nohup sh shelllogger.sh >> shelllogger.log2 >&1&

第七步：

tail -f access.log

第八步：（）

nohup tail -f /home/storm/kafka/logger/access.log |bin/kafka-console-produce

r.sh --broker-list 192.168.108.129:9092 --topic test-zhangbin1 >logs/producer.log 2>&1&

至此完工，欢迎批评指正交流！