机器学习-学习笔记 学习总结归纳（第十一周）

总结归纳

假设空间

归纳

从特殊到一般的“泛化”过程， 即从具体的事实归结出一般性规律。

演绎

从一般到特殊的“特化”过程， 即从基础原理推演出具体状况。

归纳学习（概念学习（概念形成））

记住训练样本， 就是所谓的“机械学习”，或称“死记硬背式学习”。
利用一定的策略对假设空间进行搜索。

版本空间

归纳偏好

需要对假设空间进行搜索学习操作的时候，建立一定的偏好（特征选取偏好），这样的学习还有意义。
即， 建立学习的一定的“价值观”或启发式学习。
偏好的选择， 大多数时候决定了学习算法的性能。

线性回归

我的理解就是，给定一个函数的一些输入输出，根据这些输入输出得到该函数的表达式。
最简单的例子就是给你二个点，求斜率，不过在这里就比较抽象一点，需要将具体的东西抽象成数值进行求函数。

最小二乘法（求得均方误差最小化模型）

对数几率回归

考虑分类问题时使用对数几率回归。

线性判别分析

多分类学习

基本思路为“拆解法”（多分类拆解为多个二分类来进行求解）。

分为三种
1. 一对一
2. 一对其余
3. 多对多

神经网络

学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中,学习算法的研究有着十分重要的地位。目前,人们所提出的神经网络模型都是和学习算法相应的。所以,有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法。而有的算法可能可用于多种模型。在神经网络中,对外部环境提供的模式样本进行学习训练,并能存储这种模式,则称为感知器;对外部环境有适应能力,能自动提取外部环境变化特征,则称为认知器。神经网络在学习中,一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习,而认知器则采用无教师信号学习的。在主要神经网络如Bp网络,Hopfield网络,ART络和Kohonen网络中;Bp网络和Hopfield网络是需要教师信号才能进行学习的;而ART网络和Khonone网络则无需教师信号就可以学习。所谓教师信号,就是在神经网络学习中由外部提供的模式样本信号。

神经元模型

神经网络的基本组成单元是神经元，在数学上的神经元模型是和在生物学上的神经细胞对应的。或者说，人工神经网络理论是用神经元这种抽象的数学模型来描述客观世界的生物细胞的。
很明显，生物的神经细胞是神经网络理论诞生和形成的物质基础和源泉。这样，神经元的数学描述就必须以生物神经细胞的客观行为特性为依据。因此，了解生物神经细胞的行为特性就是一件十分重要而必须的事了。
神经网络的拓朴结构也是以生物学解剖中神经细胞互连的方式为依据的。对神经细胞相互作用情况的揭露也是十分重要的。
神经元是神经网络基本元素。只有了解神经元才能认识神经网络的本质。在这一节介绍神经元的生物学解剖，信息的处理与传递方式，工作功能以及其数学模型。

M-P神经元模型

这里引入M-P神经元模型。

我们可以概括出生物神经网络的假定特点：
1. 每个神经元都是一个多输入单输出的信息处理单元；
2. 神经元输入分兴奋性输入和抑制性输入两种类型；
3. 神经元具有空间整合特性和阈值特性；
4. 神经元输入与输出间有固定的时滞，主要取决于突触延搁

感知机与多层网络

感知机

感知机由二层神经元组成.

感知机只有输出层神经元进行激活函数的处理，只能解决线性问题。

如果需要解决线性问题，则考虑使用多层功能神经元.

多层网络

多叉树- -
分为输入层神经元和输出层神经元

这个模型很经典，训练的话，就是训练这个模型，删除多余的链接，还记得第一章的那个西瓜嘛- -

误差逆传播算法

在单层网络模型中，我们只需要简单的考虑线性模型即可， 但是在多层网络模型中，那简单的线性模型就完全不够了（配合感知机学习规则），我们需要用到误差逆传播算法（BP）。

BP

这里也称为反向传播算法。
BP算法(即反向传播算法)是在有导师指导下，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是BP算法得以应用的基础。

BP工作流程

更新连接权和阈值示意图

卷积神经网络

• 每个卷积层包含多个特征映射，每个特征映射是一个由多个神经元构成的“平面”，通过一种卷积滤波器提取输入的一种特征
• 采样层亦称“汇合层”，其作用是基于局部相关性原理进行亚采样，从而在减少数据量的同事保留有用信息
• 连接层就是传统神经网络对隐层与输出层的全连接### 支持向量机

间隔与支持向量

划分超平面可通过如下线性方程来描述:

下图中的等式称为支持向量，二个等式之间的距离称为间隔。

目的就是找到最大间隔的划分超平面。

支持向量回归(SVR)

就是通过一定的差值判断，而不是以前的必须完全相同才算正确的样例。

聚类

聚类任务

背景

在无监督学习(密度估计、异常检测等)中，训练样本的标记信息是未知的（即不人为指定），旨在发现数据之间的内在联系和规律，为进一步的数据分析提供基础。
此类学习任务中研究最多、应用最广的是聚类。

定义

聚类将数据集中的样本划分为若干个通常是不相交（有的时候会相交）的子集（簇，也叫类），即将样本分类，但是分类后得到的簇的标记是未指定的，这里需要使用者自行定义。

作用

聚类既能作为一个单独过程，用于寻找数据内在的分布结构，可以作为分类等其他学习任务的前驱过程。
主要概括起来，就是寻找数据内在的规律和联系，进行整合，分类，得到的一些数据集（类）。

原型聚类（基于原型的聚类）

此类算法假设聚类结构能通过一组原型刻画，在现实聚类任务中极为常用。

原理

先对原型进行初始化，然后对原型进行迭代更新求解，采用不同的原型表示、不同的求解方式，将产生不同的算法。

k均值算法(kmeans)

算法流程

学习向量量化(LVQ)

与k均值算法类似，LVQ也是基于原型的聚类，但与一般的不同，LVQ假设数据样本带有类别标记，学习过程利用样本的这些监督信息来辅助聚类。
这个是用来建立神经网络的- -。

算法描述

密度聚类（基于密度的聚类）

此类算法假设聚类结构能通过样本分布的紧密程度确定。

原理

从样本密度的角度来考察样本之间的可连接性，并基于可连接样本不断扩展聚类簇以获得最终的聚类结果。

降维与度量学习

k近邻学习(kNN)

k-Nearest Neighbor，k近邻学习是一种常用的监督学习方法。

工作机制

给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测，通常，在分类任务中可使用投票法（选择这k个样本中出现最多的类别标记作为预测结果），在回归任务中可使用平均法（将这k个样本的实值输出标记的平均值作为预测结果）。
另外，还可以基于距离远近进行加权或加权投票，距离越近的样本权重越大。
这里的距离，跟聚类的距离是一个距离，感觉用距离的话，更加形象一点，但有的时候转不过来弯- -。
这里将k近邻学习概括起来，就一句话，近朱者赤，近墨者黑，你跟测试样本越近，就越可能是一个类。
注意，这里要理解，测试样本就是一个样本，我们需要得出这个样本的标记（或者输出标记的平均值），就靠与ta靠近的这k个训练样本，他们决定了测试样本的标记到底是什么。
看到这里，你一下子就能知道这个算法的特点，就是根本不需要进行显式的训练，就是不需要花费时间来进行训练，有这样的特点的学习算法，就称之为懒惰学习，反之，则成为急切学习。

看上面这个图，从近到远，依次选择1 3 5，根据投票法进行分类，得到的结果竟然不同，所以呢，这个算法，k值很重要，起到决定性的影响。