机器学习-学习笔记 学习总结归纳（第九周）

矩阵论

矩阵表示

在实数域上，大小为n*m的矩阵的集合可以表示为:

M(Rn∗m=A:A∈Rn∗m)

因此，(M(Rn∗m),R)) 可作为线性空间，他们的距离distance(A, B) 满足非负性，对称性和三角不等式性。

范式

奇异值

通常，可以通过定义范式的形式来诱导距离,常用的范数有: ∀A∈M(Rn∗m)

||A||1=max{∑i=1n|Ai,1|,∑i=1n|Ai,2|,⋯,∑i=1n|Ai,m|}

||A||2=A的最大奇异值

||A||F=(∑i=1n∑j=1m(A2i,j)12)

||A||∞=max{∑j=1m|A1,j|,∑j=1m|A2,j|,⋯,∑j=1m|An,j|}

||A||1,2=∑i=1n(∑j=1m(Ai,j)2)12

||A||2,1=(∑i=1n(∑j=1m|Ai,j|)2)12

在实际的信号处理过程中，无论是构建损失项还是正则项，每一种范数都有其特定的物理意义，反映着数据的分布类型，或者蕴含着数据的先验特性。

通过范式诱导得到距离（距离空间），进而得到临近关系（邻域特性），根据这种关系就可以将线性空间（非线性变换可以通过线性变换的逼近来得到）进行剖分，当然剖分的子空间个数取决于邻域的半径。

矩阵的倒数的求解通常在机器学习中较为常用，如参数更新时所依赖的梯度的计算等。

假设对于输入信号x，输出信号y，之间的线性映射关系为

f(X)≜A⋅x+b≈y

其中A为投影矩阵，b为偏置项（其中A和b都可以为矩阵）。通常利用L2 范数来定义损失函数。

Loss(x,y)=12||A⋅x+b−y||22

其中待学习的参数为(A,b)。

过拟合现象

指数据样本量相比参数量而言较多，导致训练得到的模型十分依赖于该数据集，使得该模型的测试性能或者预测性能比较差，即在另一个数据集上的表现较差（需要说明的是这二个数据集的分布方式相同）。

矩阵的奇异值分解

对于任意一个矩阵A∈Rn∗m，都有如下的表达式。

A=U⋅∑⋅VT

UT⋅U=In

V⋅VT=Im

其中, ∑ 为对角矩阵，且 U∈Rn∗m 和 V∈Rn∗m。

主成分分析

用到了矩阵的奇异值分解，通过奇异值的排序和信息利用率达到85%以上的准则确定主成分的个数。

通常，主成分分析是一种线性的降低纬度的方法。使用矩阵的奇异值分解的核心是逼近的思想，可以通过调整对角矩阵 ∑ 中的值来实现对矩阵A的刻画。

概率论

在机器学习的领域中，经常使用后验概率来实现执果索引的目的，常用的公式表述为：

P(X|Y)=P(Y|X)P(X)∑XP(Y|X)P(X)

P(Y)=∑XP(Y|X)P(X

其中，P(X | Y) 为随机事件Y发生的前提下，随机事件X发生的概率，也成为后验概率，P（X）为先验项或先验概率，P（Y | X）为似然项，P（Y）为随机变量Y的先验概率或边缘概率，也成为标准化常量。

参数估计

最大似然估计

针对模型已定，参数未知，提供了一种给定数据来评估模型参数的方法。

假设数据集x1,x2,…xN 为独立同分布的采样，f为已知的模型（如服从高斯分布，拉普拉斯分布等），θ 为模型的参数。

根据独立同分布的假设：

P(x1,x2,…xN|θ)=∏i=1NP(xi|θ)

其似然函数的定义为：

L(θ|x1,x2,…xN)=∏i=1NP(xi|θ)

参数 θ的最大似然估计是通过最大化似然函数，使得求出的 θ值与实际观察中的训练样本最相符，即

maxθL(θ|x1,x2,…xN)

实际应用中，常利用最大化平均对数似然，即

θ∗=argmaxθ∈θln(L(θ|x1,x2,…xN))N=∑i=1Nln(P(xi|θ))N

需要注意的是，最大似然估计只是参数估计的一种方法，通过若干次独立同分布的实验，观察其结果，利用结果推算出参数的大概值。

分类

对于分类问题也可以用最大似然估计来进行优化，考虑到计算问题，我们竟然使用最小化负对数似然损失函数，级{xi,ji}Ni=1。其中xi∈Rn 为输入，输入目标为 yi∈{1,2,…,C}， 学习模型为y=f(x,θ) ，由于目标为离散的类别，所以通过计算输出每个类的条件概率来界定损失函数，即

fc(x,θ)=P(y=c|x,θ),c=1,2,…,C

∑c=1Cfc(x,θ)=1

fc(x,θ)∈[0,1]

得到的负对数似然函数为：

l(y,f(x,θ))=−∑c=1Cyclogfc(x,θ)

进一步，最终的目标函数为：

maxθL(θ)=∑i=1Nl(yi,f(xi,θ))N

通常这种方法也被称为交叉熵损失函数