本地模式与StormSubmitter的对比

本地模式与StormSubmitter的对比
现在，已经使用一个名为LocalCluster的工具在本地计算机上运行Topology。在计算机上运行Storm基础设施，可以很容易地运行与调试不同的Topology。但如果你想要提交你的Topology到运行中的Storm集群呢？Storm的一个有趣特性是，它很容易发送你的Topology去运行在一个真正的集群中。你需要做的是将LocalCluster改为StormSubmitter，实现submitTopology方法，submitTopology方法负责发送Topology到集群。
可以在下面的代码中看到变化：
 

// LocalCluster cluster = new LocalCluster();  

// cluster.submitTopology("Count-Word-Topology-With-Refresh-Cache", conf,  

    builder.createTopology());  

StormSubmitter.submitTopology("Count-Word-Topology-With-Refresh-Cache", conf,  

    builder.createTopology());  

// Thread.sleep(1000);  

// cluster.shutdown(); 

当使用StormSubmitter时，不能在代码中控制集群，这和LocalCluster是不一样的。
接下来，需要打包源代码到一个jar文件中。当运行Storm客户端命令提交Topology时，会发送该jar文件。如果你使用Maven，唯一需要做的就是到源代码文件夹下运行以下命令：
 

mvn package 

一旦生成了jar文件，就可以使用storm jar命令来提交Topology。语法如下：
 

Storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3 

在这个例子中，在Topology源代码项目文件夹下运行如下命令：
 

storm jar target/Topologies-0.0.1-SNAPSHOT.jar countword.TopologyMain src/main/resources/words.txt 

使用完这些命令，就会提交Topology到集群中。
为了停止或者杀死Storm，可以运行如下命令：
 

storm kill Count-Word-Topology-With-Refresh-Cache 

Topology的名字必须具有唯一性。
本地模式（Local mode）
本地模式在进程中模拟了一个Storm集群，用于开发和测试Topology。在本地模式下运行Topology类似于在集群上运行Topology。
只需使用LocalCluster类就可以创建一个进程内的集群，例如：
 

import backtype.storm.LocalCluster;  

 

LocalCluster cluster = new LocalCluster(); 

然后，可以使用LocalCluster对象的submitTopology方法来提交Topology。就像在StormSubmitter中相应的方法一样，submitTopology方法需要一个名字、一个Topology配置和Topology对象。然后，你可以使用killTopology方法，将Topology名称作为参数，杀死一个Topology。
关闭一个本地集群，只需要简单地调用：
 

cluster.shutdown(); 

1. 常见的本地模式的配置
acktype.storm.Config类用来配置Storm，它的继承关系如下：
 

java.lang.Object  

  └java.util.AbstractMap<K,V> 

      └java.util.HashMap<java.lang.String,java.lang.Object> 

          └backtype.storm.Config  

All Implemented Interfaces:  

java.io.Serializable, java.lang.Cloneable, java.util.Map<java.lang.String,  

java.lang.Object> 

2. Config.TOPOLOGY_MAX_TASK_PARALLELISM
这个配置项是组件产生线程数量的上限。通常生产环境的拓扑并行度很大（数以百计的线程），可以尝试在本地模式下测试拓扑，找出不合理负荷的地方。这个配置项使你可以很容易地控制并行度。
3. Config.TOPOLOGY_DEBUG
当设置为true时，每次从Spout或者Bolt发送元组，Storm都会写进日志，这对于调试程序是非常有用的。
 
 
http://book.51cto.com/art/201410/453401.htm