第十二周作业报告

svm深入思考

---

1.在图像处理方面的应用

图像的自动分类在很多领域都是一项很关键的任务，其中包括信息检索、可视场景的目标检测以及医疗应用等等。传统的分类方法由于数据的高维表现差，以至于很难取得好的效果，而支持向量机可以客服高纬度表示的缺陷，所以被广泛的应用到图像分类中。

---

2.核函数参数的选择

a.普遍使用的网格搜索法

对需要选择的参数给定一个搜索区间，在这个区间中以一定的步长讲参数的不同组合分别用支持向量机计算方法进行计算，按照一定的评价标准选出最有的和参数的组合。这种方法直观而且实现简单，在参数较少的时候是一种好的寻优算法，但是对于解区间的所有可能组合并且一一计算效率低下。对于多参数问题解决能力差。

b.由chapelle等人提出的梯度下降法

用梯度下降法寻优最基本的思想就是最大化分类间隔的同事最小化推广误差。梯度下降法对初始点的要求较高，而且目前对于推广误差的估计多数不是光滑的函数，在求梯度的时候会出现剪短点，因此在使用梯度下降法求最优参数的时候要讲推广误差的估计转化为光滑的近似函数

c.群智能算法

如粒子群算法(Particle Swarm Optimization，PSO)、遗传算法(Genetic Algorithm)、蚁群算法等。群智能算法提高了搜索的效率和精度而且试用的范围交广，提高了svm的学习能力，成为核函数选择的研究又一热点。

>

3.多类支持向量机

支持向量机最初是针对二分类问题提出的，不能直接应用到多酚类问题中。够着多酚类的方法主要有两种：
a. 直接在多酚类目标函数上进行修改，实现多酚类问题的一次性求解，这种方法看似简单，但其计算复杂度比较高，实现起来比较困难，只适合用于小型问题中；
b.够着多个支持向量机的二值分类器，将多个二分类器组合实现。

---

4.算法局限

SVM算法依旧存在一些局限。模式识别中，最突出的应用研究就是字符识别。下面是贝尔实验室对美国邮政手写字体识别的实验结果。

该图一方面说明svm的算法比传统的方法有一定的优势，但是不同的svm算法得到的结果相近，说明svm对不同的方法不具有敏感性，不像神经网络那样对模型的依赖性很强。

---

感知机

　　感知机是最早的监督式训练算法，是神经网络构建的基础。
　　假如平面中存在 n 个点，并被分别标记为“0”和“1”。此时加入一个新的点，如果我们想知道这个点的标记是什么，我们要怎么做呢？
　　一种很简单的方法是查找离这个点最近的点是什么，然后返回和这个点一样的标记。而一种稍微“智能”的办法则是去找出平面上的一条线来将不同标记的数据点分开，并用这条线作为“分类器”来区分新数据点的标记。
　　
　　在本例中，每一个输入数据都可以表示为一个向量 x = (x_1, x_2) ，而我们的函数则是要实现“如果线以下，输出0；线以上，输出1”。

f(x)=x∗w+b

　　这个传递函数的结果将被输入到一个激活函数中以产生标记。在上面的例子中，我们的激活函数是一个门限截止函数（即大于某个阈值后输出1）：
　

h(x)={10if f(x)=w*x+b>0otherwise

那么，感知机是怎么工作的呢？感知机的输入是几个二进制， x1,x2,…x1,x2,… ，输出是一位单独的二进制：

本例中的感知机有三个输入， x1,x2,x3。通常，它可以有更多或者更少的输入。
这就是感知机的工作方式！
这是一个基础的数学模型。你可以这样理解感知机，它是一个通过给evidence赋予不同权重从而作出决策的机器。让我们来举一个例子，或许这不是一个真实的例子，但是它很容易理解，稍后我们会举一个更实际的例子。假设周末就要到了，你听说你所在的城市将会举办一个奶酪节。你非常喜欢奶酪，你正在犹豫是否要去参加这个节日。你可能需要权衡以下几个因素来作出决定：
1. 天气好不好？
2. 你的男朋友或者女朋友会陪你去吗？
3. 坐公共交通方便去吗？（假设你自己没有车）
我们可以使用x1,x2 和x3 这几个二进制变量来表示这三个因素。比如，如果天气很好，那么我们令x1=1 ，否则如果天气不好，那么 x1=0 。同样地，如果你的男朋友或者女朋友也想去，那么 x2=1 ，否则x2=0 。代表公共交通的x3 也用类似的方法来表示。
但是如果你很看中天气，不在乎男女朋友是否陪你去，那么就可以设置天气的权重大于另外两个。

参考

基于SVM的彩色图像分割方法的设计与实现
深度学习概述：从感知机到神经网络
基于svm的图像分类
SVM实现多分类的三种方案
gitbooks