Weka源码分析(2)——core.converters package分析

该package的主要目标是将外部存在的各种各式的数据与weka内部的数据表示进行相互转换，以解决数据的导入导出问题。主要含有Loader和Saver，一个负责加载，一个负责导出。

1. Loader及其继承体系

Loader的继承体系如下：

Loader是个Interface，其接口定义如下：

Loader定义了3种数据加载的模式常量，NONE/BATCH/INCREMENTAL。另外，定义了设置2种类型的数据源，File/InputStream的方法。获取Header的方法getStructure和实际数据的方法getDataSet；和获取下一行数据的方法getNextInstance

1.1 AbstractLoader

提供了所有Loader的默认实现，内部定义了m_retrieval field，用来保存Loader中定义的三种retrieval模式之一。对2个setSource方法提供了默认实现，该实现直接抛出异常，避免子类误用，这2个方法是为基于File的Loader子类设置的。
AbstractFileLoader是所有基于File的Loader的父类，其定义了如下fields：

field name 作用 备注 m_File CWD，当前工作路径 m_structure 解析后的header m_sourceFile 存储数据的文件 m_useRelativePath 如何解释m_sourceFile的路径 m_env 用来将形如”${}”的变量替换成实际值 以增加系统的可移植性

1.2 AbstractFileLoader的子类

所有File-based Loader的实现：

Class 职责 备注 ArffLoader 加载Arff格式文件 XRFFLoader 加载XML形式的Arff文件 C45Loader 加载C4.5格式的文件 .names和.data文件分开 CSVLoader CSV格式的文件 JSONLoader JSON格式的文件 LibSVMLoader 加载LibSVM需要的格式文件 参见libSVM网站 SVMLightLoader 加载svm light格式的文件 参见svmLight网站 MatlabLoader 加载Matlab格式文件 SerializedInstancesLoader 加载java ObjectStream序列化之后的Instances

1.3 DatabaseLoader

基于JDBC的，从数据库中加载数据的Loader子类。

1.3.1 fields

DatabaseLoader的field主要含有如下几类:
1. 与数据库connection相关的属性，m_URL、m_User、m_Password、m_CustomPropsFile
2. 读取模式控制字段，m_pseudoIncremental(实际是批量加载到内存，但是对weka是透明的)、m_checkForTable、m_nominalToStringLimit
3. 读取表数据时用到查询和字段，m_query、m_Keys、m_orderBy、m_idColumn、
4. 读取过程中的状态数据，m_firstTime、m_counter
5. 读取到的结果数据，m_structure、m_datasetPseudoInc、m_oldStructure、m_nominalStrings

1.3.2 methods

这里需要注意的是，DatabaseLoader并没有override AbstractLoader中的setSource(File)和setSource(InputStream)方法，因为它是从数据库中加载，不是面向File和InputStream的，这也是AbstractLoader中为这2个方法提供的默认实现都直接throw exeption的原因——避免DatabaseLoader这样的子类误用这些方法。
DataBase中的数据类型到不同type的Attribute之间的映射关系如下，参见readInstance(ResultSet)方法：

DataBase Type Attribute Type 备注 STRING String/Nominal 实际Instance中存储码值，int类型，具体String还是nominal，受参数nominalToStringLimit参数控制，超过该值weka认为是取值过多，是String类型 TEXT String/Nominal BOOL Nominal true:1.0,false:0.0 BYTE Numeric up cast to double SHORT Numeric up cast to double INTEGER Numeric up cast to double LONG Numeric up cast to double DATE Date 存储Date.getTime()值 TIME Date 存储Time.getTime()值

1.4 TextDirectoryLoader

从一个含有text文件的目录中加载Arff文件的AbstractLoader的实现类。由于用的不多，不做过多分析。

1.4.1 fields

1.4.2 methods

2 Saver

Saver的继承体系如下，可以看出，基本与Loader的继承体系一一对应。


同Loader理，Save也定义了3种写入模式，NONE/BATCH/INCREMENTAL，该模式会影响写入的执行过程。Loader接口还定义set写入目的地的基于File和Stream的方法，以及关键的执行写入的writeBatch和writeIncremental方法。

2.1 AbstractSaver

2.1.1 fields

2.1.2 methods

略过

3 Capability

算法和数据的适应性能力匹配的类。

Capabilities内部定义了一个Enum，用来枚举可供检测的Capability，如果不匹配，应该Fail-Fast。