《模式分类》读书笔记（绪论）

第一章 绪论

这一章其实是对模式分类做一个介绍，书中引入了一个非常简单的例子，怎么区分传送带上的两种鱼类：salmon和sea bass？

假设我们安置了一个照相机对传送带上的鱼进行拍照，那么分类过程如下：

（1）预处理——如去除图片中的背景；

（2）特征提取；

（3）分类器。

假如我们有一个特征，还有一些训练样本，得到上面的统计直方图。可以看出，想利用这个特征给鱼分类是不太可能的，虽然sea bass表面上看要比salmon长一些，但那只是一个统计上的平均值而已，做分类就不行了。但如果我们有一个更好些的特征，如下面的图，情况就会不一样了。

很明显，这个特征可以较好的分开两种鱼，当然在3.5——7之间，我们无法判定它究竟属于那种鱼，我们只能在其中找一个阈值，将两种鱼分类。但这样就会出现误分的问题。一般情况下我们希望误分的概率是五五开，即两种鱼有相同的概率被误分。不过，有时在决策时我们希望宁可A被错分也不要B被错分，这时候阈值的选择就得向某个方向倾斜了。有个专门的词叫cost，其实模式识别的目的是最小化这个cost。

我们可以使用不止一个特征，比如用两个特征来做分类，这样可以用一条线把两种鱼分开，如下面的图所示。

上面的图中，表面看是中间的图分类效果最好，因为所有的鱼都被正确的区分开了，但其实不然。因为我们不是为了分类而分类，而是为了预测。所以中间图实际上是过拟合了，我们希望得到的是一种泛化的结果。

分类的本质就是通过数据重建出生成这些模式的数学模型，本书主要关注于基于统计的模式分类，后面的章节都是基于此的。