机器学习课程笔记整理（2）

典型的学习例子

只是仓促的个人总结，错误可能比较多，推导过程只有思路，后期全部完成再修改

一、一点表示多点

    1）误差

         误差具有很多度量方法，所求的值（一点）与观察值（多点）的差的平方，立方，绝对值等，不过一般用平方误差，理由后面会讲

        误差为何能相加？为何用加法？都因于误差的可加性

        我们所要求的的目标当然是最小误差

    2）高斯分布 最大似然法

   首先要了解高斯分布是怎样来的

    这里要解决的是为何用平方误差？最大似然法和最小二乘法有什么联系？

    真实值y,预测值y',误差e

    y=y'+e

    e=y-y'

    假定误差服从高斯分布，那么用最大似然估计

    思路就是对误差e做最大似然估计求y',实际就是求最小平方误差和最小，具体过程见参考地址

    这也就解释了为何用平方误差

    可以看出最大似然跟最小二乘法出发点不用,最小误差要求预测值和真实值平方误差和最小,损失函数式预测值和真实值的平方误差

    而最大似然法的参数估计希望模型中抽取样本的概率能最大,目标函数式最大化目标值的似然函数

    所以当分布函数为高斯函数时,两者相同

    

这部分相关资料地址：

高斯分布：

http://www.itongji.cn/plus/search.php?kwtype=0&keyword=%D5%FD%CC%AC%B7%D6%B2%BC%B5%C4%C7%B0%CA%C0%BD%F1%C9%FA

http://www.math.zju.edu.cn/Probability/interest/chapter4.htm

最大似然法与最小二乘法：

http://blog.csdn.net/xidianzhimeng/article/details/20847289

http://lijiwei19850620.blog.163.com/blog/static/97841538201211282591699/

3)多维正态分布

对协方差矩阵不熟悉的话应该了解下

下面的部分讲得都很口语,很简单,不太严谨

4)最小二乘(LS)与总体最小二乘(TLS)

以后增加这部分

二、主成分分析法(PCA)

这部分首先要了解什么事协方差，协方差矩阵，特征向量，特征值

最小误差平方解释（具体过程见参考资料）：

想一下二维空间很多点 现在用一维空间表示,就是用一个坐标轴描述一堆点实现降维

首先确定最佳的直线，类似最小二乘法做回归分析，误差是用点到坐标轴距离确定，但特征选择则是点到直线的距离

要确定一条直线

第一步就是要确定点

    最小化误差，显然就如2）里的方法，得到多点的均值，直线误差最小，显然要过改点

第二步就是要确定方向向量

    确定了一点后，再确定方向向量即可确定一条直线，而直线上的点可以用，均值点+系数*方向向量表示，其实直线也就是一个坐标轴，同样改写误差的估计值为：均值点+系数*方向向量，接来下的推导比较麻烦，请参考资料，大致思路就是固定参数，对方向向量求导，最后转化为对样本的协方差矩阵求特征向量，这时候特征向量就成了新的坐标系，表分布在坐标轴周围

接下来就是整理一下PCA的实现流程了：

给出一种实现流程

1、计算均值，确定均值
2、计算协方差矩阵及其特征值和特征向量
3、确定特征值的阈值

4、去掉较小的特征值
5、合并选择的特征值
6、选择相应的特征值和特征向量
7、计算白化矩阵
8、提取主分量

可以在MATLAB编程实现一下PCA，加深理解

简单的来说就降一维的话，要理解二维空间怎样用条线来描述点，三维空间又怎样用一个面描述一堆点（要知道面是如何确定的，方向向量是什么）

形象点的话还要理解一堆点均匀分布在纸筒内，为何选择中心轴去描述，或者一个面包内均匀分布一堆点，为何选择中间的横截面描述，是纵切还是横切

这部分相关资料地址：

PCA解释：

http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020216.html

http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html

http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html

协方差矩阵与PCA：

http://wenku.baidu.com/link?url=EnqJlqow0i_7P4sfpW486rPSSXG5KvysU8wJOqWVuiuWeettcjM2wWLXaMyYTvcRH3PwvPgTTH3U8KQlL6UVOEdqfSXgTLpApHczsF_pkBO

特征向量几何意义：

http://blog.csdn.net/hexbina/article/details/7525850

三、最小平方聚类

这个部分后面涉及很多，这里简要说明

误差函数选择最小平方误差，以K均值法为例

实现过程有两步：在有分界线确定情况下求出各类均值点（第一种智能能力，找共性）

                            在均值点确立情况下算出各类分界线（第二种智能能力，进行分类）

两本循环执行，就是解决问题（画边）与修正模型（画点）循环执行

这里要解决的主要三个问题是：

1.初始点如何设计

2.设置几个点才好

3.一个点如何判断它是哪类（如果线生硬地将点分成几类可能造成一赢全赢的局面，某一类不断吞并另一类的点）

这几个问题的解决方法是后面部分的问题