Nutch插件机制详解(二)

三、插件定义方法 如下：

Xml代码 <plugin id="urlfilter-suffix" 插件ID name="Suffix URL Filter" 插件名称 version="1.0.0" 插件版本 provider-name="nutch.org"> 插件提供者的ID <runtime> <library name="urlfilter-suffix.jar"> 依赖的JAR包 <export name="*"/> 发布的JAR包 </library> </runtime> <requires> <import plugin="nutch-extensionpoints"/> 依赖的插件 </requires> <extension id="org.apache.nutch.net.urlfilter.suffix" 扩展的插件ID name="Nutch Suffix URL Filter" 扩展的插件名 point="org.apache.nutch.net.URLFilter"> 插件的扩展点ID <implementation id="SuffixURLFilter" 插件实现ID class="org.apache.nutch.urlfilter.suffix.SuffixURLFilter"/> 实现类 <!-- by default, attribute "file" is undefined, to keep classic behavior. <implementation id="SuffixURLFilter" class="org.apache.nutch.net.SuffixURLFilter"> <parameter name="file" value="urlfilter-suffix.txt"/> </implementation> --> </extension> </plugin>  

 

四、插件主要配置，在nutch-default.xml里面有：

Xml代码 <!-- plugin properties --> // 插件所在的目录，缺省位置在 plugins 目录下。 <property> <name>plugin.folders</name> <value>plugins</value> <description>Directories where nutch plugins are located. Each element may be a relative or absolute path. If absolute, it is used as is. If relative, it is searched for on the classpath.</description> </property> // 当被配置为过滤（即不加载），但是又被其他插件依赖的时候，是否自动启动，缺省为 true。 <property> <name>plugin.auto-activation</name> <value>true</value> <description>Defines if some plugins that are not activated regarding the plugin.includes and plugin.excludes properties must be automaticaly activated if they are needed by some actived plugins. </description> </property> // 要包含的插件名称列表，支持正则表达式方式定义。 <property> <name>plugin.includes</name> <value>protocol-http|urlfilter-regex|parse-(text|html|js)|index-(basic|anchor)|query- (basic|site|url)|response-(json|xml)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic) </value> <description>Regular expression naming plugin directory names to include. Any plugin not matching this expression is excluded. In any case you need at least include the nutch-extensionpoints plugin. By default Nutch includes crawling just HTML and plain text via HTTP, and basic indexing and search plugins. In order to use HTTPS please enable protocol-httpclient, but be aware of possible intermittent problems with the underlying commons-httpclient library. </description> </property> // 要排除的插件名称列表，支持正则表达式方式定义。 <property> <name>plugin.excludes</name> <value></value> <description>Regular expression naming plugin directory names to exclude. </description> </property>  

 

 

五、插件主要类 UML 图 ：

 

 

 

类包括：

 

   1.PluginRepository 是一个通过加载 Iconfiguration 配置信息初始化的插件库，里面维护了系统中所有的扩展点ExtensionPoint 和所有的插件 Plugin 实例。

   2.ExtensionPoint 是一个扩展点，通过扩展点的定义，插件 Plugin 才能定义实际的扩展 Extension，从而实现扩展，每个ExtensionPoint 类实例都维护了宣布实现了此扩展点的扩展 Extension。

   3. Plugin是一个虚拟的组织，提供了一个启动 start 和一个 shutdown 方法，从而实现了插件的启动和停止，他还有一个描述对象PluginDescriptor，负责保存此插件相关的配置信息，另外还有一个 PluginClassLoader 负责此插件相关类和库的加载。

 

 

六、插件加载过程时序图：

 

 

 

 

   通过序列图可以发现，Nutch 加载插件的过程需要 actor 全程直接调用每个关联对象，最终得到的是插件的实现

对象。详细过程如下：

 

   1. 首先通过PluginRepository.getConf() 方法加载配置信息，配置的内容包括插件的目录，插件的配置文件信息 plugin.properties等，此时 pluginrepository 将根据配置信息加载各个插件的 plugin.xml，同时根据 Plugin.xml 加载插件的依赖类。

   2. 当 actor需要加载某个扩展点的插件的时候，他可以：

        1. 首先根据扩展点的名称，通过 PluginRepository 得到扩展点的实例，即 ExtensionPoint 类的实例；

        2. 然后调用 ExtensionPoint 对象的 getExtensions 方法，返回的是实现此扩展点的实例列表

（Extension[]）；

        3. 对每个实现的扩展实例 Extension，调用它的 getExtensionInstance() 方法，以得到实际的实现类实

例，此处为 Object；

       4. 根据实际情况，将 Object 转型为实际的类对象类型，然后调用它们的实现方法，例如 helloworld 方法。