JStorm之NimbusServer启动流程
2015-01-13 15:26
417 查看
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager,在集群中属于首脑地位,负责分发任务,监控集群状态,与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作,以保证集群稳定运行:
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver
启动主函数如下:
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver
启动主函数如下:
public static void main(String[] args) throws Exception { // 读取配置文件,如果我们在JVM启动参数中包含了storm.conf.file系统属性 //则会直接读取参数指定的文件,否则会找strom.yaml,这个一个yaml格式的文件 //读取出的配置信息最终放入Map中 @SuppressWarnings("rawtypes") Map config = Utils.readStormConfig(); NimbusServer instance = new NimbusServer(); //处理资源分配的工具 INimbus iNimbus = new DefaultInimbus(); //主要启动流程包含此函数中 instance.launchServer(config, iNimbus); }nimbus启动的主方法如下:
private void launchServer(final Map conf, INimbus inimbus) { LOG.info("Begin to start nimbus with conf " + conf); try { // 检测集群配置是本地模式还是集群模式 StormConfig.validate_distributed_mode(conf); //清理pid目录,由参数storm.local.dir指定,该过程包含如下操作 //1、创建本地进程的pid文件 //2、删除历史pid文件,比如上次进程直接被kill createPid(conf); //初始化关闭钩子线程:里面包含各种清理操作,可参考cleanup方法 initShutdownHook(); //初始化ininumbus目录 inimbus.prepare(conf, StormConfig.masterInimbus(conf)); //创建数据容器,存放各种统计信息例如提交此俗、集群状态、启动时间,参考下面NimbusData类成员 data = createNimbusData(conf, inimbus); //启动fllower线程不断更新zk状态,如果发现自己不是leader则会关闭进程 initFollowerThread(conf); //启动http服务器 int port = ConfigExtension.getNimbusDeamonHttpserverPort(conf); hs = new Httpserver(port, conf); hs.start(); //如果不是运行在yarn类似的容器中,不用关心此方法 initContainerHBThread(conf); while (!data.isLeader()) Utils.sleep(5000); //初始换监控线程 initUploadMetricThread(data); //进行初始化操作,该方法会清理zk中残留的topology信息,初始化TopologyAssign线程负责分配任务 init(conf); } catch (Throwable e) { LOG.error("Fail to run nimbus ", e); } finally { cleanup(); } LOG.info("Quit nimbus"); }NimbusServer的init方法如下:
private void init(Map conf) throws Exception { NimbusUtils.cleanupCorruptTopologies(data); //初始化TopologyAssign线程 initTopologyAssign(); initTopologyStatus(); //jar文件清理线程,默认每10分钟会清理一次,清理目录:$LOCAL-DIR/nimbus/inbox initCleaner(conf); serviceHandler = new ServiceHandler(data); if (!data.isLocalMode()) { //监控各task运行状态,发现dead状态的则会清理掉释放资源 initMonitor(conf); //启动Thrift server initThrift(conf); } }最后附上NimbusData的数据结构:
public class NimbusData { private Map<Object, Object> conf; private StormClusterState stormClusterState; // Map<topologyId, Map<taskid, TkHbCacheTime>> private ConcurrentHashMap<String, Map<Integer, TkHbCacheTime>> taskHeartbeatsCache; // TODO two kind of value:Channel/BufferFileInputStream private TimeCacheMap<Object, Object> downloaders; private TimeCacheMap<Object, Object> uploaders; private int startTime; private final ScheduledExecutorService scheduExec; private AtomicInteger submittedCount; private Object submitLock = new Object(); private StatusTransition statusTransition; private static final int SCHEDULE_THREAD_NUM = 8; private final INimbus inimubs; private Map<String, Map<String, Map<ThriftResourceType, Integer>>> groupToTopology; private Map<String, Map<ThriftResourceType, Integer>> groupToResource; private Map<String, Map<ThriftResourceType, Integer>> groupToUsedResource; private final boolean localMode; private volatile boolean isLeader; ........... }
相关文章推荐
- android system server 启动流程
- OpenRTMFP/Cumulus Primer(5)CumulusServer启动流程分析(续1)
- JStorm之Woker启动流程
- Android5 Zygote 与 SystemServer 启动流程分析
- Tomcat源码阅读之Server.xml文件的处理与Catalina启动流程
- Jwebsocket Server启动流程
- neutron-server的启动流程(二)
- jstorm-yarn 启动流程总结
- Java NIO框架Netty教程(四) – ServerBootStrap启动流程源码分析
- android源码解析之(九)-->SystemServer进程启动流程
- OpenRTMFP/Cumulus Primer(6)CumulusServer启动流程分析(续2)
- OpenRTMFP/Cumulus Primer(7)CumulusServer 启动流程分析(续3)
- OpenRTMFP/Cumulus Primer(6)CumulusServer启动流程分析(续2)
- JStorm之Supervisor启动流程
- Java NIO框架Netty教程(四) – ServerBootStrap启动流程源码分析
- OpenRTMFP/Cumulus Primer(4)CumulusServer启动流程分析
- OpenRTMFP/Cumulus Primer(5)CumulusServer启动流程分析(续1)
- Java NIO框架Netty教程(四) – ServerBootStrap启动流程源码分析
- Java NIO框架Netty教程(四) – ServerBootStrap启动流程源码分析