机器学习算法入门索引

来源：互联网发布：sql查询删除重复数据编辑：程序博客网时间：2024/05/29 11:02

索引

学习模型
- 线性模型
  - 乘法模型
  - 加法模型
- 核模型
- 层级模型
有监督学习
- 分类
  - 最近邻居法
  - 决策树学习
  - 朴素贝叶斯分类器
  - 逻辑回归
  - 自适应增强
  - 随机森林
  - 支持向量机
- 回归
  - 线性回归
  - 局部加权线性回归
  - 岭回归
  - Lasso回归
  - 弹性网回归
  - 树回归
无监督学习
- K-均值聚类
- 关联规则

简介

决策树学习

原理

这里的决策树指的是分类树。
决策树中的每一个节点代表了一个维度，输入的向量X根据当前节点代表的维度的值的不同划分到了不同的子树，当到达叶子节点时就得到了X的类别。

实现

决策树划分方式通常有两种，信息增益和基尼不纯度。
构建过程一般从根节点开始，每次根据划分方式选择最佳的维度来分裂出子节点。

朴素贝叶斯分类器

原理

实现

逻辑回归

原理

Sigmoid函数：σ(z)=11+e−z
Logistic回归分类器在输入向量的每个特征维度上乘以一个回归系数，将结果相加代入Sigmoid函数，大于0.5的数据被归入1类，小于0.5归入0类。

实现

通常用梯度上升方法计算回归系数w

自适应增强

原理

使用多个弱分类器串行训练成一个强训练器。
首先使用一个原始的学习算法，对训练样本{(xi,yi)|xi∈R,yi∈{+1,−1}}ni=1进行普通分类器的学习，然后对不能正确分类的样本加大其权重，最正确分类的样本降低权重。边学习边更新样本的权重，并把学习过程中得到的所有分类器放在一起，对其可信度进行平均后训练得到最终的强分类器。

实现

把训练样本{(xi,yi)}ni=1对应的各个权重{wi}ni=1设置为均等，即1n，并把强分类器f的初始值设为0。
定义加权误分类率R(φ)=∑ni=1wi2(1−φ(xi)yi)。
选择加权误分类率最小的弱分类器φj进行学习，φj=argminφ R(φ)。
定义弱分类器φj的话语权为θj=12log1−R(φj)R(φj)。
将弱分类器添加到强分类器f中，使得f(x)←sign(f(x)+θjφj)
定义规范化因子为Z=∑ni=1wi exp(−θjfj(xi)yi)
更新样本的权重{wi}ni=1

w i \leftarrow w i e x p ( - θ j f j ( x i ) y i ) Z

也可以通过

w i \leftarrow e x p ( - f ( x i ) y i ) \sum n k = 1 e x p ( - f ( x k ) y k )

更新权重。
若b为强分类器中的弱分类器个数，则最终得强分类器为

f = s i g n (\sum i = 1 b θ i f i (x))

随机森林

原理

随机森林包含多个决策树，随机森林的输出由全体决策树输出的众数决定。

实现

从全体样本M中有放回的选取M次组成新的训练集，从训练集的N个特征维度中随机选取n个特征维度，其中n远小于N。用所得的含有m个特征维度的训练集训练决策树。
重复若干次，形成多个决策树，组成随机森林。

支持向量机

原理

寻找超平面对样本空间进行分割，使得两种类别的数据分布在超平面两侧。
支持向量是离超平面最近的那些点，通过最大化支持向量到超平面的距离找到最优的超平面。
定义数据点到超平面的距离为几何距离|wTA+b|∥w∥
由于数据未必线性可分，引入松弛变量。

实现

线性回归

原理

回归，是指把实函数在样本点附近加以近似的有监督的函数近似问题，是对一个或多个自变量和因变量之间的关系进行建模、求解的一种统计方法。
函数y=f(x)以d维实数向量x⃗ 为输入，实数值y做输出。
这里的真实函数关系f是未知的，作为训练集的输入输出样本{(x⃗ i,yi)}ni=1是已知的。用f^表示通过学习而获得的函数。

最小二乘法是回归中最基础的方法。
最小二乘学习法是对模型的输出fθ(xi)和训练集输出{yi}ni=1的平方误差JLS(θ)=12∑ni=1(fθ(xi)−yi)2为最小时的参数θ进行学习。θ^LS=argminθJLS(θ)
平方误差(fθ(xi)−yi)2是残差fθ(xi)−yi的二阶范数。因此最小二乘法有时也成为l2损失最小化学习法。

实现

如果使用线性模型fθ(x)=∑bj=1θiϕ(x)=θTϕ(x)的话，训练样本的平方差JLS就能表示为JLS(θ)=12∥Φθ−y∥2，这里y=(y1,…,yn)T是训练样本的输出，Φ是n×b阶矩阵，也称为设计矩阵。

Φ = ⎛ ⎝ ⎜ ⎜ ϕ 1 (x 1) ⋮ ϕ 1 (x n) \dots ⋱ \dots ϕ b (x 1) ⋮ ϕ b (x n) ⎞ ⎠ ⎟ ⎟

训练样本的平方差

JLS的对参数向量

θ求偏导得

ΔθJLS=(∂JLS∂Jθ1,…,∂JLS∂Jθb)T=ΦTΦθ−ΦTy。令偏导为0，得

ΦTΦθ=ΦTy因此

θ^LS=(ΦTΦ)−1ΦTy

局部加权线性回归

原理

对第i个训练样本的平方差通过权重wi≥0进行加权，然后再通过最小二乘法进行加权，称为加权最小二乘学习法。
argminθ12∑ni=1wi(fθ(xi)−yi)2

实现

用与最小二乘法同样的方法进行求解得θ^=(ΦTWΦ)−1ΦTWy
这里的W是以wi为对角元素的对角矩阵。
为了对附近点赋予更高的权重，可以使用高斯核w(i,i)=exp(|xi−x|−2k2)

岭回归

原理

岭回归又称为l2约束的最小二乘学习法。
在一般最小二乘法中，参数{θj}bj=1可以自由设置，使用全体参数空间，通过把参数空间限制在一定范围内来防止过拟合。
argminθJLS(θ) 约束条件 ∥θ∥2≤R

实现

利用拉格朗日对偶问题求解.
maxλminθ[JLS(θ)+λ2(∥θ∥2−R)]
拉格朗日因子λ由半径R决定，如果直接指定λ则
θ^=argminθ[JLS(θ)+λ2∥θ∥2]
对参数θ求偏导，另偏导为0，得θ^=(ΦTΦ+λI)−1ΦTy

Lasso回归

原理

当参数特别多时，学习与求解会消耗大量时间。Lasso回归把大部分参数都置为0，可以快速的求解与学习。
Lasso回归又称为l1约束的最小二乘学习法。
argminθJLS(θ) 约束条件 ∥θ∥1≤R
由于JLS是下凸函数，因此在参数空间内具有等高线，其底部是最小二乘解θ^LS。另一方面，l1约束的最小二乘解θ^l1CLS的范围在参数θ的各个轴上都有角。等高线与θ^l1CLS的范围的相交点就是θ^l1CLS的解，因此通常解都位于参数的轴上，这样参数中会有若干个0，称为稀疏学习。

实现

弹性网回归

原理

弹性网回归又称为l1+l2约束的最小二乘学习法，利用l1+l2范数的凸结合来进行约束。
(1−τ)∥θ∥1+τ∥θ∥2≤R
τ是满足0≤τ≤1的标量。
当τ=0时，l1+l2约束变为l1约束，当τ=1时，l1+l2约束变为l2约束。

实现

0 0