论文笔记《A novel hybrid CNN–SVM classifier for recognizing handwritten digits》

来源:互联网 发布:银魂madao知乎 编辑:程序博客网 时间:2024/06/07 06:40


一,动机

手写字体识别已经被研究好多了,最好的识别率为99.65%,是用一个六层的网络结构。但是以往只是关注它的识别率,而不是可靠性,这篇论文着重关注它的可靠性。

二,结构

先分别介绍SVM,CNN原理,再介绍CNN—SVM混合模型

1,用libsvm构建SVMs,

2,CNN用的是图1的结构,图2是本论文混合模型的结构

3,The SVM takes the outputs from the hidden layer as a new feature vector for training.



取值:N1=25,N2=50,N3=100,

4,优点分析

1),CNN泛化能力不好,SVM来补充。

2),CNN将节点的输出值两极化,一个接近+1,其余的接近-1,而SVM是估算每一类样本的概率值,更可靠,评价机制更有效。

3),CNN提取一些细节等更为丰富的不变性特征。

三,实验

通过一些distortion techniques来扩充样本数量,经过调试选取参数delta=2的-11次方,C=128.训练错误率0.11%,测试错误率0.19%

结果对比



四,结果分析

1,错误样本:主要是这两对‘‘4–9’’and‘‘5–3’’相似,另外其他的书写不清等,人本身就很难识别。

2,可靠性分析

依赖于概率信息

训练时间比CNN单独训练要长,因为它包括单独训练CNN和SVM




0 0