zeppelin源码分析(2)——distribution assembly过程分析

主要分析zeppelin-distribution/target中的发布包的打包过程，即distribution目录结构中的bin、conf、Interpreter、lib等目录文件的来源。

1.1.1 parent pom

首先看一下${ZEPPELIN_HOME}/pom.xml文件中与package相关的几个重要的plugin的配置:

<plugin>  <artifactId>maven-dependency-plugin</artifactId>  <version>2.8</version>  <executions>    <execution>      <id>copy-dependencies</id>      <phase>process-test-resources</phase>      <goals>        <goal>copy-dependencies</goal>      </goals>      <configuration>        <outputDirectory>${project.build.directory}/lib</outputDirectory>        <overWriteReleases>false</overWriteReleases>        <overWriteSnapshots>false</overWriteSnapshots>        <overWriteIfNewer>true</overWriteIfNewer>        <includeScope>runtime</includeScope>      </configuration>    </execution>  </executions></plugin><plugin>  <artifactId>maven-jar-plugin</artifactId>  <version>2.4</version>  <configuration>    <archive>      <manifest>        <addClasspath>true</addClasspath>        <classpathPrefix>lib/</classpathPrefix>        <mainClass>theMainClass</mainClass>      </manifest>    </archive>  </configuration></plugin>

该pom作为parent pom，如下位置定义了这2个plugin

<build>  <plugins>

    <!-—上述plugin定义位置—->

  </plugins>

</build>

表示该项目所有的module都会默认继承使用这些plugin配置。有两点需要注意：

1)      maven-dependency-plugin的goal：copy-dependencies与maven的lifecycle的process-test-resourcesphase完成了绑定，意味着：mvn install或者package的时候，都会将内容的该module的runtime scope 的dependencies拷贝到target/lib目录下。

2)      maven-jar-plugin规定了生成META-INF/MANIFEST.MF文件的规范，添加classpath，并且从lib/目录中查找依赖（mainClass这里仅仅起占位作用，供sub-module override用）。

1.1.2 zeppelin-zengine的pom

zeppelin-zengine的pom并没有override任何与打包相关的plugin配置，故其采用默认的打包方式，即：target/目录下生成zeppelin-zengine-*.jar(*表示具体的版本，以下同)。并且，由于继承了parent pom的maven-dependency-plugin的配置，会将该module所有的dependencies拷贝到target/lib目录下。

1.1.3 zeppelin-interpreter pom

从“module间依赖关系”图可以看出，zeppelin针对各个语言的Interpreter实现类都依赖于zeppelin-interpreter module，该module的打包方式如下：

<plugin>  <groupId>org.apache.maven.plugins</groupId>  <artifactId>maven-shade-plugin</artifactId>  <version>2.3</version>  <configuration>    <artifactSet>      <includes>        <include>*:*</include>      </includes>    </artifactSet>    <filters>      <filter>        <artifact>*:*</artifact>        <excludes>          <exclude>META-INF/*.SF</exclude>          <exclude>META-INF/*.DSA</exclude>          <exclude>META-INF/*.RSA</exclude>        </excludes>      </filter>    </filters>  </configuration>  <executions>    <execution>      <phase>package</phase>      <goals>        <goal>shade</goal>      </goals>    </execution>  </executions></plugin>

采用shade plugin将该module所有runtime scope的依赖和该module编译后的artifact一起打包成一个fat jar(自包含的jar，即：该artifact和其所有的dependencies都被打包在一起)。

1.1.4 各Interpreter的pom

以hive interpreter为例，每个Interpreter的pom中dependencyplugin定义如下：

<plugin>  <artifactId>maven-dependency-plugin</artifactId>  <version>2.8</version>  <executions>    <execution>      <id>copy-dependencies</id>      <phase>package</phase>      <goals>        <goal>copy-dependencies</goal>      </goals>      <configuration>        <outputDirectory>${project.build.directory}/../../interpreter/hive</outputDirectory>        <overWriteReleases>false</overWriteReleases>        <overWriteSnapshots>false</overWriteSnapshots>        <overWriteIfNewer>true</overWriteIfNewer>        <includeScope>runtime</includeScope>      </configuration>    </execution>    <execution>      <id>copy-artifact</id>      <phase>package</phase>      <goals>        <goal>copy</goal>      </goals>      <configuration>        <outputDirectory>${project.build.directory}/../../interpreter/hive</outputDirectory>        <overWriteReleases>false</overWriteReleases>        <overWriteSnapshots>false</overWriteSnapshots>        <overWriteIfNewer>true</overWriteIfNewer>        <includeScope>runtime</includeScope>        <artifactItems>          <artifactItem>            <groupId>${project.groupId}</groupId>            <artifactId>${project.artifactId}</artifactId>            <version>${project.version}</version>            <type>${project.packaging}</type>          </artifactItem>        </artifactItems>                    </configuration>    </execution>  </executions></plugin>

可以看出，每个Interpreter的编译后，会将该Interpreter的runtime scope的依赖和该Interpreter编译后的artifact 一起拷贝到${project.build.directory}/../../interpreter/hive目录，该目录实际上对应到${ZEPPELIN_HOME}/interpreter/xxx目录下。

除了zeppelin-spark相关的几个module（zeppelin-display、zeppelin-zinterpreter、zeppelin-spark-dependencies）之外，余下所有的zeppelin的Interpreter具体实现，都与hive的打包方式相同。

1.1.5 zeppelin-server的pom

与zeppelin-zengine相同，zeppelin-server也没有override parent pom中与打包相关的plugin配置，故其编译后会在target/目录下生成zeppelin-zengine-*.jar。并且由module之间依赖图可以看出:

zeppelin-server直接依赖于zeppelin-zengine，zeppelin-interpreter又是zeppelin-zengine的直接依赖，这样zeppelin-interpreter就是zeppelin-server的间接依赖。maven在打包时会将zeppelin-zengine-*.jar和zeppelin-interpreter-*.jar拷贝到target/lib/目录下。zeppelin-server可以与传统应用系统开发中的“业务逻辑层”对应，该module中主要实现对REST和WebSocket消息的业务封装，权限控制等业务逻辑。zeppelin-zengine类似于“DAO和底层webSocket消息通信协议解析“等，zeppelin-interpreter专门用来处理以独立进程启动各种interpreter，以及与zeppelin-engine之间的RPC通信问题（实际是基于Socket的IPC，采用Thrift协议）。

1.1.6 zeppelin-web的pom

zeppelin-web module的package为war，默认绑定的是maven-war-plugin的war goal。

<plugin>  <groupId>org.apache.maven.plugins</groupId>  <artifactId>maven-war-plugin</artifactId>  <configuration>    <warSourceDirectory>dist</warSourceDirectory>    <webXml>dist\WEB-INF\web.xml</webXml>  </configuration></plugin>

zeppelin-web全部采用的是html+js（angularJS）实现，web中并没有需要预先编译的后端代码，这里warSourceDirectory定义了web页面、js脚本和相关资源的目录，该目录中的文件会被打包到最后的zeppelin-web-*.war包中，该目录的内容来自于zeppelin-web/src/目录。webXml定义了web.xml文件的位置。

1.1.7 zeppelin-distribution的assembly/distribution.xml分析

zeppelin-distribution采用了maven-assembly-plugin来自定义其打包格式，该格式由zeppelin-distribution/src/assembly/distribution.xml来规定：

<dependencySets>  <dependencySet>    <!-- Enable access to all projects in the current multimodule build!    <useAllReactorProjects>true</useAllReactorProjects> -->    <!-- Now, select which projects to include in this module-set. -->    <includes>      <include>org.apache.zeppelin:zeppelin-server</include>      <include>org.apache.zeppelin:zeppelin-web</include>    </includes>    <useProjectArtifact>false</useProjectArtifact>    <useTransitiveDependencies>false</useTransitiveDependencies>  </dependencySet>  <dependencySet>    <outputDirectory>/lib</outputDirectory>    <useProjectArtifact>false</useProjectArtifact>    <excludes>      <exclude>${project.groupId}:zeppelin-web</exclude>      <exclude>${project.groupId}:zeppelin-server</exclude>    </excludes>  </dependencySet></dependencySets>

该段定义了2个dependencySet：

1)      第1个dependencySet定义如下：

<include>org.apache.zeppelin:zeppelin-server</include>
<include>org.apache.zeppelin:zeppelin-web</include>

规定了最后的打包格式（dir、tar.gz）中包含哪些artifact。该dependencySet与pom中定义的dependency（如下）相配合：

<!-- NOTE: These dependency declarations are only required to sort this project to the     end of the line in the multimodule build.  --><dependencies>  <dependency>    <artifactId>zeppelin-server</artifactId>    <groupId>${project.groupId}</groupId>    <version>${project.version}</version>  </dependency>  <dependency>    <artifactId>zeppelin-web</artifactId>    <groupId>${project.groupId}</groupId>    <version>${project.version}</version>    <type>war</type>  </dependency></dependencies>

解决直接dependency和间接dependency的打包问题（其实zeppelin-distribution由于不含任何代码，所以编译并不需要任何依赖，这里引入这2个dependency主要是为了自定义打包问题）。

由于zeppelin-distribution这个module本身并不含有任何源码需要编译后发布，故它自身不应该被包含在最后的打包文件中。故定义：

<useProjectArtifact>false</useProjectArtifact><useTransitiveDependencies>false</useTransitiveDependencies>

避免引入zeppelin-distribution这个空的artifact以及它的dependencies。

2)      第2个dependencySet定义为将第一个dependencySet include的2个artifact zeppelin-server和zeppelin-web的依赖，全部打包的lib/目录下。