逻辑回归总结

1.逻辑回归是什么？

逻辑回归是一种分类算法。

逻辑？回归？

是在回归结果(回归结果是连续的)上，引入逻辑函数sigmoid将回归结果进行转换，最终变成分类结果【0,1】

sigmoid函数：

举个例子：一次语文考试（总分150），老师根据学生的阅读理解（X），写作能力(Y)，古诗词欣赏（Z）给出成绩， Score= aX+bY+cZ.

为了更方便排名，老师将150成绩转换成0-100的成绩，然后在通过以往的经验值>60的为及格,<60的为不及格。

老师根据学生考试给出成绩是-》回归，将0-150转成0-100的过程是类似逻辑函数处理过程，最终根据阈值（60分）来将学生成绩来分类。

2. 特征处理
3. 建模
4. 损失函数
   损失函数是用来估量模拟的预测值f(x)和真实值（Y）的不一致程度。损失函数越小，模型的鲁棒性就越好。
   4.1 平方损失函数
         
   线性回归中用的是平方损失函数
   4.2  对数损失函数
           L(Y,P(Y|X))=−logP(Y|X)
    为什么用对数损失函数来做逻辑回归的损失函数？（对数损失函数是凸函数，有极值）
   http://blog.csdn.net/hk121/article/details/71457866
   http://blog.csdn.net/wjlucc/article/details/71095206
   逻辑回归样本服从0-1分布
   
   将损失函数代入上面分布函数中得到：
   
   
   
   
   
      
      损失越小，表明模型拟合的越好。基于上面损失函数，求最小值。
      
       4.3 损失函数求解->梯度下降
       什么是梯度下降？
       梯度下降算法是调整参数θ使得代价函数J(θ)取得最小值的最基本方法之一。从直观上理解，就是我们在碗状结构的凸函数上取一个初始值，然后挪动这个值一步步靠近最低点的过程，如下图所示：
   
        求损失函数的最小值。
    
   
   L(Y,P(Y|X))=−logP(Y|X)L(Y,P(Y|X))=−logP(Y|X)L(Y,P(Y|X))=−logP(Y|X)
5. 消除过拟合
   
   1） 控制特征的数目，可以通过特征组合，或者模型选择算法
   2）Regularization，保持所有特征，但是减小每个特征的参数向量θ的大小，使其对分类y所做的共享很小
   正则化，L1和L2
   L1：产生稀疏矩阵，将很多特征去掉。因此具备选择特征功能
   L2:减低特征向量的大小.
6. 验证结果
   ROC
   AUC
   召回率
   准确率
   混淆矩阵 
   
   

线性回归？

求出输出特征向量Y和输入样本矩阵X之间的线性关系系数 -> y=ax+b

线性回归损失函数为什么要用平方形式？

复合函数