LogisticRegression相关

概述

LR（逻辑斯蒂回归）是一个假设因变量发生概率符合二项分布的分类模型。可以从最大似然估计的方向去理解，通过所有样本，找到全局最优分割面,区别于SVM只注重支撑向量。可以做二分类，也可通过多次二分类实现多分类的目的。是最基本的分类器，优点是速度快，模型简单。

推导

假设y符合二项分布模型，事件发生为1，概率是p,。则未发生为0，概率是1-p。

启示

定义事件发生的概率符合Sigmoid函数，通过Sigmoid函数求出每个样本是0或1的概率值，再和阈值比较做判定。在应用中，应该保证不同量纲的特征有相同的方差和均值，对数据做归一化处理。

延伸：这里是大牛关于LR的总结
http://blog.csdn.net/abcjennifer/article/details/7716281
http://blog.csdn.net/dongtingzhizi/article/details/15962797

（个人总结，如有遗漏错误，欢迎指正）