分类器设计

                                                                                                                                                分类器设计

1 分类问题是根据待识别对象所呈现的观察值，将其分到某个类别中去。具体步骤是：

（1）建立特征空间中的训练集，已知训练集里某个点所属类别。
（2）从这些条件出发寻求某种判别函数或判别准则，设计判别函数模型。
（3）根据训练集中的样品确定模型中的参数，得到完善的判别函数模型
（4）利用完善的判别函数或判别准则去判别每个未知类别的点应该属于哪类

2在统计模式识别中，讨论的主要问题不是决策正误，而是决策正误的概率问题。模式识别所强调的“最佳”“最优”，这种最优是针对某一设计原则讲的，这种原则成为准则。

这种准则包括：
最小错误率准则：以减少分类错误为原则
最小风险准则：引入风险损失概念，赋予不同权值，使总的风险最小
近邻准则：依据同类物体在空间中具有聚类特性的原理进行区分。
Fisher准则：寻求最好的直线方向以及如何实现向最好方向投影的变换
感知准则：感知准则函数使错分类样品到分界面距离之和最小为原则

3基本方法

 <1>.模板匹配法
通常采用最近邻原则，最简单的一种分类方法，缺点是计算量大、存储量大。
<2>判别函数法
（1）基于概率统计的分类法
往往取决于前期统计分布的相关知识，最经典的BAYES分类器，利用先验概率和类条件概率密度函数，计算出后验概率，以此设计出判别函数与判决面。
（2）几何分类法
不依赖于条件概率密度的知识，通过几何的方法把特征空间分解为对应于不同类别的子空间。

4模式样本的表示方法

(1)向量表示法：假设一个样本有n个变量(特征)Ⅹ= (X1,X2,…,Xn)T

(2).矩阵表示: N个样本，每一个样本n个变量

(3)几何表示

一维表示 ： X1=1.5    X2=3 ；二维表示X1=(x1,x2)T=(1,2)T、X2=(x1,x2)T=(2,1)T
三维表示：X1=(x1,x2, x3)T=(1,1,0)T：X2=(x1,x2 , x3)T=(1,0,1)T

5判别函数

假设对一模式X已抽取n个特征，表示为：
模式识别问题就是根据模式X的n个特征来判别模式属于ω1 ,ω2 , … , ωm 类中的那一类。

判别函数包含两类：
一类 是线性判别函数：线性判别函数、广义线性判别函数（所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数）、分段线性判                       别函数
另一类是非线性判别函数

6线性判别函数

（一）两类问题      wi=(w1,w2)T,M=2

   (1)二维情况：取两个特征向量  X=（x1,x2)T,n=2;判别函数g(x)=w1x1+w2x2+w3

   (2)n维情况：取n个特征：X=(x1,x2,x3,...,xn)T;判别函数：g(x)=w1x1+w2x2+...+wnxn+w(n+1)=WX+w(n+1),W为权向量；X为模式向量

  当g(x)=WX=0为判别边界，n=2时，判别边界为一直线；n=3时，判别边界为一平面；n>3时，判别边界为一超平面。

 （二）多类问题

     (1)第一种情况：每一模式类与其他模式类间可用单个判别平面把一个类分开。有M个判别函数gi(x)=WiX大于0，X属于w1类；否则属于其他类。

     (2)第二种情况：每一模式类与其他模式类间可分别用判别平面分开。有M(M-1)/2个判别平面

     (3)第三种情况：每类都有一个判别函数,存在M个判别函数