CNN的由来及结构初窥

今天是国庆节，上午文老师和张敬老师给我们讲了模式识别，神经网络以及卷积神经网络的一些知识，学到了很多新的东西，对于之前不求甚解的逻辑性问题也懂了不少，豁然开朗的感觉，特此进行记录。
模式，PCA，SVM，神经网络，范数的作用，局部连接的神经网络，卷积神经网络，卷积神经网络的三个重点，待深入问题
1 模式识别
Pattern与feature
根据解析几何原理，画一条线，线的左边小于0，线的右边大于0
可通过PCA，升维方法将数据从原始空间映射到特征空间；
Sift特征，bag of word；fisher判定
2 PCA
类似于找出数据所表现形式中的长轴；从能量和信息角度来讲，去掉那些变化影响不大的；
缺点是：1）虽然PCA通过SVD分解减少了数据之间的相关性，但是不一定对分类有效；2）去除噪声的同时，也去除了高频信息，降维一般都会丢失掉部分信息，除非数据本身是有冗余的，因此在图像处理中，有一句话叫做去噪保边
3 SVM
SVM的表现形式是线性的，但是隐式上是非线性地投影到高维的空间，通过核函数进行映射；
4 神经网络
对于单隐层神经网络，可以看做是一个PCA，如果在n维坐标系下，都不是最大投影方向，那么需要寻找最大投影方向，进行投影扩展
5 范数
零范数：非零个数最少，但是在求解过程中，不易使用；常用一范数，即绝对值最小，满足稀疏性，范数越小越好，可以用于寻找最大投影方向；
在求解时，作为目标函数的其中一项，即常说的正则约束
（据今天老师粗略提了下讲，七八十年代的神经网络受到抑制与如今得到发展，一个原因是加入了正则项，从而减少了权重数量，防止了过拟合和欠拟合情况，具体待自己下一步深入了解）
6 局部连接的神经网络
每一层中的节点只与上一层中的部分节点个数相连，与之前的全连接相比，这里称为局部连接；在生物学的人脑中，有类似机制，即只与最近的相连；
但是以上局部连接存在一个问题，它会产生同移变化，即相同的输入，经过权重之后，生成不同的输出，因为我们没有规定权重相一致；
考虑到同移不变性，考虑局部连接下的权值共享；如果将形式展开，实质上就是卷积
7 卷积神经网络
对应点相乘再相加，与局部连接本质上是一个意思，也称为局部连接的权值共享网络,fc—local fc—CNN；通过权值共享的特征映射新的空间
8 卷积神经网络的第二个点——全连接
增加w的个数，使得C得以保留，从深度来讲，进行扩展，以提取更多的信息，3*3*C的全连接，然后C的每一次都是权值共享
5*5*C1 ——（3*3*C1(C2)）——3*3*C2
可以理解为在空域实现局部连接，权值共享，在深度上实现全连接
9 卷积神经网络之三——池化
目的是实现局部不变性，旋转，图片不变形
实现了逐层抽象概念，通过polling连成一个轮廓
10 特征
高层语义特征，分布式语义特征，他们之间的组合可以表示某个实体概念，具有语义特征的分布式特征，比如两个圆加上一个三角形类似于一个自行车