机器学习（1）

机器学习----理论部分(对于图解机器学习一书的笔记)

1.回归(是指对一个或多个变量和因变量之间的关系进行建模，求解的一种统计方法)

定义：回归是指把实函数在样本点附近加以近似的有监督的函数近似问题。
这里，我们来考虑一下以d次方的实数向量x作为输入，实数值y作为输出的函数
y=f(x)的学习问题，在监督学习里，这里的函数关系f是未知的，作为输入数出
样本{{xi,yi}}(上标为n,下标为1)是已知的。

2.分类

定义：分类是指对已指定的模式进行有监督的模型识别问题，由已知的训练集，进行分类的过程
分类并不存在类别1比类别3更接近于类别2这样的说法。分类问题只是单纯地对样本应该属于
哪个类别进行预测并且根据预测准确与否来衡量泛化误差，这一点与回归不同

3.异常检测

定义：指寻找输入函数样本{xi}(从1到n,下标为1,上标为n)中所包含的异常数据的问题
在已知正常数据与异常数据的例子的情况下，其与有监督的分类问题是相同的，但是，在一般情况下，
在异常检测任务中，对于什么样的数据是异常的，什么样的数据是正常的，在事先是未知的，
在这样的无监督的异常检测中，一般采用密度估计方法，把靠近密度中心的数据作为正常的数据，把偏离密度中心的
数据作为异常的数据

4.聚类

定义：与分类问题相同，也是模式识别问题，但是属于无监督学习的一种，即只给出输入样本

{xi}(从1到n)，然后判断各个样本分别属于1,2,....,c,中的那个簇。隶属于相同簇的样本之间
具有相同的性质,反之，亦然。在聚类问题中们如何准确地计算样本之间的相似度是很重要的课题
注：聚类问题中经常以簇代替类别

5.降维

定义：是指从高维度数据中提取关键信息，将其转换为易于计算的低维度问题进而求解的方法，具体来说，
当输入样本{xi}(从1到n)的维度d非常大的时候，可以把样本转换为较低维度的样本{zi}(从1到n)。线性降维的
情况下，可以使用横向量T将其转换为zi=Txi.降维，根据数据种类的不同，可以分为
监督学习和无监督学习两种，一般来讲输入输出样本已知的时候属于监督学习，可以将样本转换为较低维度的样本
从而获得更高的泛化能力，如果只有输入样本的时候属于无监督的学习，在转换为较低维度的样本以后，应该保持原始输入样本
的数据分布性质，以及数据间的近邻关系不发生变化。

6.机器学习主要流派简单介绍

a.生成的分类和识别的分类

在已知模式x的时候，如果能求得使分类类别y的条件概率p(y|x)达到最大值的类别y^的情况，就可以模式识别了
y=argmax p(y|x)
在这里，”argmax"是取得最大值时的参数的意思，所以max y p(y|x)是指当y取得特定值时p(y|x)的最大值，在模式识别中，条件概率p(y|x)通常也称为
后验概率，上面的y^也称为y翰特，在基于统计分析的机器学习中，预测结果一般都以^符号来表示，应用训练集直接对后验概率p(y|x)进行学习的过程，成为判别式分类
另外可以把后验概率p(y|x)表示为y的函数:
p(y|x)=p(x,y)/p(x)∝p(x,y)
上式表明,发现模式x和类别y的联合概率p(x,y)与后验概率p(y|x)是成比例的,在模式识别中，联合概率p(x,y)也成为数据生成概率，
通过预测数据生成概率P(x,y)来进行模式识别的分类方法，称为生成的分类
注：有时候即使手头的信息量不足以解决一般性(即求解困难)的问题，但对于解决特定的问题，很可能是足够的。
比如，数据生成概率是已知的，那么就可以由公式推出后验概率，如果后验概率是已知的，却不能推导出数据生成概率
，在进行模式时，只要计算后验概率即可，在生成的分类中，则要计算数据生成概率p(x,y)这个一般性的问题，因此，识别的分类是比生成的分类更好的机器学习方法

b.统计概率和朴素贝叶斯理论

在本小节中，我们以包含参数θ的模型q(x,y;θ)为例，对计算数据生成概率的问题进行说明
在统计概率的机器学习方法中，将模式θ作为决定论的变量，使用手头的训练样本对模式识别θ进行学习，在统计概率中
如何由训练集D得到高精度的θ是主要的的研究课题，而在朴素贝叶斯方法中，将模式θ作为概率变量
对其先验概率p(θ)加以考虑，计算与训练集D对应的后验概率p(θ|D),在朴素贝叶斯算法中，如何计算
后验概率是一个主要的研究课题
本次理论部分主要讲解基于频率派的识别式机器学习算法，并对其中的算法进行介绍，而不介绍产生式机器学习算法

和朴素贝叶斯学派的机器学习算法。

后续持续更新....欢迎交流！