Mitchell机器学习-基于实例的学习

来源：互联网发布：大众网络报官方网站编辑：程序博客网时间：2024/05/17 08:52

1. 简介

消极学习方法
- 不是根据样本建立一般化的目标函数并确定其参数，而是简单地把训练样例存储起来，直到需要分类新的实例时才分析其与所存储样例的关系，据此确定新实例的目标函数值。
最近邻法与局部加权回归法
- 根据邻近的样例对新实例分类
径向基函数/核函数法
- 介于局部加权回归和神经网络之间的方法
基于案例的推理
- 使用符号表示的基于知识的推理方法

2. k-近邻算法

选出距离新实例最近的k个样例，包含上述k个样例中个数最多的类别
距离加权最近邻算法
讨论
- 取k近邻而不是最近邻，可以消除孤立的噪声实例的影响
- 归纳偏置：一个实例的分类与在欧式空间中它附近的实例的分类相似
- 维度灾难：如何消除不相干属性的影响（降维、加权）

3. 局部加权回归

$\hat{f}(x) = w_0 + w_1 a_1(x) + \cdots + w_n a_n(x)$

$E = \frac{1}{2} \sum_{x \in k-\textrm{nearst}}(f(x) - \hat{f}(x))^2$

$\Delta w_j = \eta \sum_{x \in k-\textrm{nearest}} (f(x) - \hat{f}(x)) a_j (x)$

$E = \frac{1}{2} \sum_{x \in k-\textrm{nearest}} (f(x) - \hat{f}(x))^2 K(d(x_q, x))$

$\Delta w_j = \eta \sum_{x \in k-\textrm{nearest}} K(d(x_q, x)) (f(x) - \hat{f}(x)) a_j (x)$

4. 径向基函数

$f(x) = \frac{1}{n} \sum_{i=1}^n K \left( \frac{x - x(i)}{h} \right )$

$\hat{f}(x) = w_0 + \sum_{u=1}^k w_u K_u \left( d(x_u, x) \right )$

通常采用高斯核函数

$K_u \left( d(x_u, x) \right ) = \exp \left( - \frac{d^2(x_u,x)}{2\sigma_u^2} \right )$

$\Delta w_i = \eta \sum_{x \in D} (f(x) - \hat{f}(x)) K_i (d(x_i, x))$

5. 基于案例的学习

基本思想：直接根据以前的案例而不是泛化的知识来求解新问题
基于案例的学习是类比学习方法的一种，包括基于案例的推理、基于案例的规划和基于案例的问题求解。
基于案例的推理
- 基于案例的推理可从三方面提高系统的性能
  - 以前成功的决策可用于新问题的求解
  - 以前的失败在求解新问题时可用来避免错误
  - 如果从以前的案例中提取出抽象的策略可增强一般化的知识
基于成功案例的推理
- 给出以前案例中达到同样目标的解
- 给出以前案例达到同样目标的解并根据当前案例与以前案例的区别对解修改
- 给出达到同样目标的推理方法
- 根据新旧两个案例的相同点建立问题的抽象描述，将其扩充以符合原案例的解，并将其应用到新案例以得到新的解
基于失败案例的推理

6. 消极学习与积极学习

比较
- 消极学习将从训练数据泛化的计算延迟到查询新的案例时才进行，训练时计算少，预测时计算多。
- 积极学习必须建立全局的假设以覆盖整个实例空间，消极学习可以使用多个不同的局部假设形成对目标函数的全局逼近。
消极学习方法
- k-近邻算法
- 局部加权回归
- 基于案例的推理
积极学习方法
- Find-S算法
- 候选消除算法
- 决策树方法
- 人工神经网络
- 贝叶斯方法
径向基函数
- 以训练样例（或代表点）为中心的局部逼近方法，不是以查询点为中心，是一种特殊的积极学习方法。
优缺点
- 优点：
  - 用局部目标函数逼近复杂的全局目标
- 缺点：
  - 分类新实例开销大
  - 维度效应——“相似”不一定“相近”