机器学习学习笔记.day3

周志华《机器学习》 学习笔记

最近开始学习机器学习，参考书籍西瓜书，做点笔记。

第三章 线性模型

1.基本形式

给定由d个属性描述的示例x=（x1;x2;x3;…;xd），其中xi是x在第i个属性上的取值，线性模型通过对属性的线性组合来预测的函数：

f(x)=w1x1+w2x2+…+wdxd+b（一般写成向量形式）；

参数w的大小可以反映对应属性的“偏好”；

2.线性回归

使用均方误差衡量预测与真实之间误差大小，即(f(xi)-yi)^2，求最小值使误差最小；

分别对w和b求偏导，在令偏导为0，则可得到最优解。

多选线性回归问题类似。

3.对数几率回归

对数几率回归问题主要对用于分类问题。

对数几率问题在很多地方称为逻辑回归。

常用sigmoid函数。

通过对y=0.5点判断进行分类，解决了阶跃函数不连续的问题。

4.线性判别分析

线性判别分析思想很简单，将平面上的点投影到一条直线上，通过在直线上的投影进行分类。

通过均值向量和协方差矩阵等度量。

欲使同类样例的投影点尽可能接近，让同类样例投影点协方差尽可能小；

欲使异类样例投影点尽可能远，让中心之间距离尽可能大；

5.多分类学习

多分类学习氛围OvO，OvR，和MvM。

OvO即一对一，每次从类别中选取两个进行分类，则会产生N(N-1)/2个分类任务（N为分类数），最后通过投票产生结果，即选取多数。

OvR即一对剩余，每次将一个类选为正例，其余所有选为反例进行学习，这样会产生N个分类任务。

MvM即多对多，每次选取若干个为正例，若干个为反例进行学习。OvO和OvR是MvM的特殊情况。

MvM正反例构造技术：纠错输出码（ECOC）。

ECOC有二元和三元码。

欧氏距离：

海明距离：即编码中不同的个数。

ECOC具有一定的容错与修正能力。

第三章主要介绍线性模型，对回归和分类问题进行了解释，线性模型是最基本的模型，其中原理不难理解，推导过程需要加强理解。

我的笔记做的比较粗糙，还请见谅。

有不正确或者不完整的地方，欢迎补充。