liblinear简单使用说明

 liblinear简单使用说明

liblinear适合解决大规模数据和高维稀疏特征的分类和回归问题。

 

特征文件格式：跟libsvm的一致，每一行都是

label index1:value1 index2:value2

的稀疏向量的格式。

 

离线的训练和测试阶段，为了方便，我是通过命令行来做的，不需要再写代码。

其中liblinear封装了一个train和predict命令（java和C都有），我们只需要调整参数即可方便调用。

模型训练好和测试符合我们要求之后，为了方便hive调用，需要java程序加载模型来做预测，这一步需要在java版的liblinear之上再做一次封装或者改动。

 

训练阶段：

train命令的使用

1 最简单的使用方式，不调整任何参数，直接使用默认参数

train train.txt model.txt

 

2 常见参数调整

  -s 表示模型的类型，liblinear里面不止实现一种模型，里面还分为大的小的模型类别。

  值得注意的是，svm只能输出分类的label，lr可以输出分类的概率。

  目前我常使用 –s 0

 -wi 针对不同类别设置不同的惩罚因子

 通过调整此参数，可以调整预测类别的分布。

 比如男女分类中测试集的真实分布是55:45,男label为1，女label为2。

 某次模型训练后，对上面测试集的预测后的类别分布是3：7，说明模型偏向于女性，

 为了让预测分布跟真实分布一致，为了调整模型更偏向于男性，需要再次训练模型

 调大w1的值（男的label为1，所以是w1），故可以尝试 –w1 2来训练看看效果。

 如此不断尝试。

 

 

测试阶段：

1 默认参数使用方式

predict test.txt model.txt predict.txt

表示使用模型model.txt来预测测试集test.txt，结果保存在predict.txt

2 常用参数

  -b 取值0和1。默认是0。如设置为1，表示输出预测分类的概率。

 

 

 

java程序使用模型预测：

为了方便hive调用，需要根据liblinear中的predict.java重写一个预测函数。

predict.java原本是输入一个特征文件，输出一个预测文件。

我们改写的预测函数，是输入一个字符串表示的特征向量，输出一个字符串表示的类别预测概率。

package de.bwaldvogel.liblinear;import static de.bwaldvogel.liblinear.Linear.atof;import static de.bwaldvogel.liblinear.Linear.atoi;import java.io.File;import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.StringTokenizer;import java.util.regex.Pattern;public class Predictor {    private static boolean       flag_predict_probability = true;    private static final Pattern COLON                    = Pattern.compile(":");    /**     * <p><b>Note: The streams are NOT closed</b></p>     */    static public String doPredict(Model model,String line) throws IOException {        int nr_class = model.getNrClass();        double[] prob_estimates = null;        int n;        int nr_feature = model.getNrFeature();        if (model.bias >= 0)            n = nr_feature + 1;        else            n = nr_feature;        if (flag_predict_probability && !model.isProbabilityModel()) {            throw new IllegalArgumentException("probability output is only supported for logistic regression");        }        if (flag_predict_probability) {            prob_estimates = new double[nr_class];        }            List<Feature> x = new ArrayList<Feature>();            StringTokenizer st = new StringTokenizer(line, " \t\n");                  while (st.hasMoreTokens()) {                String[] split = COLON.split(st.nextToken(), 2);                if (split == null || split.length < 2) {                    throw new RuntimeException("Wrong input format at line "+line);                }                try {                    int idx = atoi(split[0]);                    double val = atof(split[1]);                    // feature indices larger than those in training are not used                    if (idx <= nr_feature) {                        Feature node = new FeatureNode(idx, val);                        x.add(node);                    }                } catch (NumberFormatException e) {                    throw new RuntimeException("Wrong input format at line " + line, e);                }            }            if (model.bias >= 0) {                Feature node = new FeatureNode(n, model.bias);                x.add(node);            }            Feature[] nodes = new Feature[x.size()];            nodes = x.toArray(nodes);            double predict_label;            String res="";            if (flag_predict_probability) {            int[] labels = model.getLabels();                assert prob_estimates != null;                predict_label = Linear.predictProbability(model, nodes, prob_estimates);               // System.out.printf("%g", predict_label);                for (int j = 0; j < model.nr_class; j++)                {                res =res+ labels[j]+":"+prob_estimates[j]+";";                //System.out.printf(" %g", prob_estimates[j]);                }                                      } else {                predict_label = Linear.predict(model, nodes);            }           // System.out.println(res);            return res;    }    public static void main(String[] argv) throws IOException {        flag_predict_probability = true;        try {                     String line = "438:1.0 4659:1.0 4661:1.0 5026:1.0 5067:1.0 5914:1.0 6020:1.0 9924:1.0 13845:1.0 17295:1.0 19792:1.0 21466:1.0 22054:1.0 22095:1.0 22425:1.0 26541:1.0";                                String model_path="/model/AgePredicotr4LiblinearAdmaster.model";InputStream inputStream = this.getClass().getResourceAsStream(model_path);BufferedReader br=new BufferedReader(new InputStreamReader(inputStream));model = Linear.loadModel(br);br.close();                        String res = doPredict( model,line);            System.out.println(res);        }        finally {        }    }}

参考资料

http://www.csie.ntu.edu.tw/~cjlin/liblinear/

http://www.csie.ntu.edu.tw/~cjlin/papers/liblinear.pdf

https://github.com/bwaldvogel/liblinear-java  java版linlinear

本文作者:linger

本文链接：http://blog.csdn.net/lingerlanlan/article/details/48659803