线性模型小结
来源：互联网 发布：java执行多个cmd命令 编辑：程序博客网 时间：2024/04/29 12:21
线性模型小结
线性模型，顾名思义，就是使用将特征的线性组合得到的超平面划分特征空间的方法。简单的在二维空间中，线性模型就是一条直线，而在三维空间中，线性模型就是一个平面，它们都可以将所在空间划分为两部分。当有多个超平面的时候可以将空间划分为多个区域。
怎么得到线性模型？在PRML中将主要的方法划分为三种方式
1：discriminant function即判别函数法
主要途径是得到一个判别函数，通过函数来对样本空间进行划分。
2：使用贝叶斯理论求后验概率P(Ck|X)，由类条件概率和先验概率得到后验概率。generative models.
3：另一种方法也是求后验概率P(Ck|X)，但是并不是使用贝叶斯理论先求条件概率和先验概率来得到。而是直接构建后验概率的模型，然后通过训练集来优化该模型的参数，可以使用最大似然等方法来解决。Logistic regression. Iterative reweighted least squares.
本章的内容也是按照这个基本的结构来划分的：
一：判别函数方法
1：least squares for classification
最小二乘分类，最小错误率
2：Fisher’s linear discriminant
Fisher线性分类：样本在投影空间中的最大可分性
3：Perceptron algorithm
感知器算法：在样本线性可分的情况下能保证收敛，并且分类超平面结果不确定，取决于初始化权值。
二：概率产生模型（probabilistic generative models）
通过贝叶斯理论将后验概率表示为先验概率和类条件概率，得到Logistic函数的形式，然后通过最大似然估计来优化Logistic函数的参数。主要讨论了样本的类条件分布概率符合高斯分布情况，两类样本可以有相同的协方差矩阵，也可有不同的协方差矩阵，主要讨论前者。然后是讨论了离散特征的处理，以及用指数族来表示其通用形式。
三：概率区分模型
在二中的处理方式是一种间接的处理方式，另一种相对应的模型就是直接构建其后验概率模型，通过最大似然估计来优化其参数。
代表性的方法就是Logistic regression。关于权值的更新介绍了Iterative reweighted least squares方法来更新权值。
probit regression：使用probit activation function来对样本进行分类。
然后简单的介绍多类别情况的Logistic regression。Canonical link function是Logistic regression的统一表示形式，跟指数族类似。
四：拉普拉斯逼近（Laplace Approximation）
前面讲的很多模型都是针对高斯分布的，当样本不符合高斯分布的时候显然就不能再使用，所以该节介绍了一种使用高斯分布逼近非高斯分布的技术：Laplace Approximation。主要分为三步：找最大点，泰勒展开，归一化。
该节的另一个重点部分是从数学角度分析了模型选择问题：分析了过拟合产生的原因以及模型选择方法BIC（Bayesian Information Criterion）方法。
五：Bayesian Logistic Regression
将拉普拉斯逼近用于Logistic regression。
