JStorm/Storm源码解读(二)--启动篇

为了在解读分析时有个统一的思路，本文将从启动一个集群开始分析。
(说明：为了测试方便，采用的是本地模式）。
1.参数设置

Config conf = new Config(); //设置Topology中workers的数量 conf.setNumWorkers(4); //这意味着用于单元测试以防止元组在测试期间意外超时。 conf.put(Config.TOPOLOGY_ENABLE_MESSAGE_TIMEOUTS, true); //最大超时时间 conf.put(Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS , 10);

2.创建TopologyBuilder

TopologyBuilder builder = new TopologyBuilder();

3.设置TopologyBuilder

//3.1设置Spout //3.2设置Bolt(可能多个)

4.启动集群

启动集群 //启动本地集群 LocalCluster cluster = new LocalCluster(); //启动本地集群的细节：   public LocalCluster() {         synchronized (LocalCluster.class) {             //1.判断当前本地集群是否存在实例，如果存在则抛出异常，否则进行后面的处理             if (instance != null) {                 throw new RuntimeException("LocalCluster should be single");             }             //2.设置日志             setLogger();             System.setProperty("java.net.preferIPv4Stack", "true");             //3.调用prepareLocalCluster()方法对本地集群的启动环境做准备             this.state = LocalUtils.prepareLocalCluster();             if (this.state == null)                 throw new RuntimeException("prepareLocalCluster error");                 instance = this;         }     }

4.3.具体的准备如下：

public static LocalClusterMap prepareLocalCluster() {         LocalClusterMap state = new LocalClusterMap();         try {             //1.创建缓存路径集合             List<String> tmpDirs = new ArrayList();             //2.获取缓存路径             String zkDir = getTmpDir();             tmpDirs.add(zkDir);             //3.启动本地Zookeepr             Factory zookeeper = startLocalZookeeper(zkDir);             //4.获取本地的配置文件             Map conf = getLocalConf(zookeeper.getZooKeeperServer().getClientPort());             //获取(计算得到)nimbus的缓存路径             String nimbusDir = getTmpDir();             tmpDirs.add(nimbusDir);             //5.进行深度拷贝得到nimbusConf配置文件             Map nimbusConf = deepCopyMap(conf);             //6.配置nimbus的缓存路径             nimbusConf.put(Config.STORM_LOCAL_DIR, nimbusDir);             //7.创建Nimbus服务             NimbusServer instance = new NimbusServer();             //8.进行深拷贝得到supervisor的配置文件             Map supervisorConf = deepCopyMap(conf);             String supervisorDir = getTmpDir();             tmpDirs.add(supervisorDir);             supervisorConf.put(Config.STORM_LOCAL_DIR, supervisorDir);             //9.创建Supervisor实例             Supervisor supervisor = new Supervisor();             //IContext:该接口需要实现消息插件。消息插件通过Storm配置(storm.messaging.transport)指定参数。 消息传递插件应该有一个默认的构造函数和实现IContext界面。在构建之后，             我们将根据storm配置调用IContext::prepare(storm_conf)来启用上下文。             //10.获取消息插件             IContext context = getLocalContext(supervisorConf);             //11.设置本地集群中的Nimbus、Supervisor等主从节点以及zookeeper、消息插件等             state.setNimbusServer(instance);             state.setNimbus(instance.launcherLocalServer(nimbusConf, new DefaultInimbus()));             state.setZookeeper(zookeeper);             state.setConf(conf);             state.setTmpDir(tmpDirs);             state.setSupervisor(supervisor.mkSupervisor(supervisorConf, context));             return state;         } catch (Exception e) {             LOG.error("prepare cluster error!", e);             state.clean();         }         return null;     }

4.3.3启动本地Zookeeper的具体细节如下：

程序允许给35535个端口用来启动Zookeeper集群，从2000开始分配，  如果端口2000至端口65534全部被占用了，则会跑出无可用的端口来运行zookeeper的异常     private static Factory startLocalZookeeper(String tmpDir) {         for (int i = 2000; i < 65535; i++) {             try {                 return Zookeeper.mkInprocessZookeeper(tmpDir, i);             } catch (Exception e) {                 LOG.error("fail to launch zookeeper at port: " + i, e);             }         }         throw new RuntimeException("No port is available to launch an inprocess zookeeper.");     }

对于一个系统性的集群框架来说，启动该集群，必须为其配置相应的参数，比如workers数量，缓存地址等，
上述只是本地集群启动时的一小部分。剩下部分将在下一篇中讲述。

---

欢迎关注下面二维码进行技术交流：