「ML」chapter3:线性模型

基本形式

f(x)=ω1x1+ω2x2+...+ωdxd+b

写成向量模式：

f(x)=ωTx+b

线性回归

均方误差最小化，可以求出解析解。在引入多变量时，特征矩阵X往往不是满秩矩阵，这时可以有多组参数解，选择那个解作为输出，有学习算法的归纳偏好决定，常见方法时引入正则项。

衍生物1：对数线性回归

ln(y)=ωTx+by=eωT+b

衍生物2：对数几率回归

ln(y1−y)=ωTx+by=11+e−(ωTx+b)

优点：
1. 直接对分类可能性进行建模，无需假设数据分布？？？？？？
2. 近似概率分布，任意阶可导，方便求解。
解法：用极大似然法求解

l(w,b)=∑i=1mln p(yi|xi;ω,b)

其中：

p(yi|xi;ω,b)=p(yi|xi)yip((1−yi)|xi)1−yi

用梯度下降求解可得

βt+1=βt+α×∑i=1m(yi−p(yi|xi))xi

线性判别分析(LDA)

LDA的思想：给定训练样例，设法将样例投影到一条直线上，使得同类投影点尽量接近，异类投影点尽可能远离。

多分类学习

采用一些基本策略，利用二分类学习器来解决多分类问题。经典策略：一对一，一对其余，多对多。
多对多中常用计数：纠错输出码，
编码：对N个类别做M次划分，每次划分一部分类别为正，其余为负，产生M个训练集，训练M个分类器，
解码：对测试样本进行预测，将预测结果组成一个编码，与各类别对编码计算距离，距离最小的类别作为最终预测结果。

类别不均衡问题

线性分类器y=ωTx+b对新样本进行分类时，通过y值与一个阈值进行对比，通常为0.5,这就意味着决策规则为：

y1−y>1，则预测为正例

类别不平衡学习的一个基本策略：再缩放-1欠采样2过采样
1. 欠采样，EasyEnsemble利用继承学习机制，将反例划分为若干个集合共不同学习器使用，
2. 过采样，SMOTE通过对训练集里对正例进行插值产生额外的正例。