Rewiew: Unsupervised Learning of Digit Recognition Using Spike-Timing-Dependent Plasticity(IEEE)

文章信息

题目：基于STDP的数字识别无监督学习
刊物：IEEE Transactions on Neural Networks and Learning Systems
年份：2015
作者：Peter U. Diehl and Matthew Cook
机构： the Institute of Neuroinformatics, ETH Zurich and University Zurich
阅读时间：2017年12月

文章内容

背景

1. the recent development of neuromorphic hardwares
2. the task of designing SNN-based pattern recognition system is still challenging

主要工作及特点：

设计了一种基于STDP的SNN无监督学习算法
1. 不需要给训练的输入数据打标签，无监督学习
2. 不需要对输入数据做预处理（除了从像素点到尖峰序列的转化）
3. 良好的伸缩性，即所提出的学习机制和结构在神经元数量减少时一样可以进行学习。100/400/1600/6400个激活型神经元对应的预测精度分别为82.9%/87.0%/91.9%/95.0%。
4. 所提出的学习机制与k-means和competive learning algorithm有相似之处

实验结果

6400个神经元可以实现95%的手写字符识别率。

设计细节

1. 神经元和突触模型
   神经元模型：integrated -and-fire model
   
   τdVdt=(Erest−V)+ginh(Einh−V)+gexc(Eexc−V)
   
   V是薄膜电压，τ是激活型神经元薄膜的时间常数，ge和 gi分别是激活型和抑制型突触的电导,Eexc和Einh分别是激活型和抑制型突触的平衡电势。当薄膜电压超过了阈值vthres神经元就向外发射尖峰脉冲信号。
   突触模型：通过电导的改变来模拟，如果有前神经元的尖峰信号到达突触，突触的电导就增强，如果没有就呈指数方式衰减，如果前神经元是激活型的，突触电导的更新公式如下。
   
   τgedgedt=−ge
   
   如果前神经元是抑制型的，就将相应的常数换成抑制型的。
   
   τgidgidt=−gi
   
   模型中运用的全部参数都是来自于生物神经元，除了激活型神经元薄膜的时间常数从10-20ms增加到100ms，这样可以提高精度。
2. 网络结构
   输入层和激活层前向全连接，激活层和一直层一对一前向连接，抑制层反向与激活层全连接（除了与已经前向连接的激活单元）
   image
3. 学习机制
   突触除了存储权值还记录一个Spike Trace值xtra，一个presynaptic spike到了之后xtra就加1，同时xtra还遵循一个指数衰减规律。
   
   τxpredxpredt=−xpre
   
   τxpre是衰减的时间常数。另外，xpre在每次前神经元信号到达后加1。
   当postsynaptic spike产生后，权值启动更新计算，更新的数值依赖于两个部分，一个部分是当前权值与最大权值的差，另外一部分是xtra与xtar(目前猜测是没有衰减的xtra值)的差，具体计算公式如下：
   
   δw=η(xpre−xtar)(wmax−w)μ
4. 学习平衡
   为了防止某些神经元发射spike信号的频率过高，充分发挥每个神经元的学习能力（学习到不同的pattern），在训练过程中需要保持神经元发射频率的平衡（homoeostasis）。具体的方法是动态阈值调整，具体是调高发射频率高的神经元的阈值，从而让它的发射频率不至于过高。动态阈值调整的计算方法如下：
   
   τθdθdt=θ
   
   同样，τθ是衰减的时间常数。
5. 输入编码
   从像素值到Poisson编码，Spike的频率正比于像素的灰度值，一个输入也是一个像素点的spike序列的时间是350ms，频率范围是0到63.75。
   另外，有一个细节处理，就是如果某个输入没有使得激活型神经元产生足够的spike信号（少于5个），那么增加发射信号的频率32Hz至95.75。
6. 训练和预测
   数据集是MNIST手写字符集，含有6万训练集和1万测试集。在本文的训练中，整个训练集进行了6次迭代，也就是36万张图片，训练结束后学习虑被置为零，动态阈值被锁定。最后还用一轮训练集对训练好的模型进行标签分类，方法是把每一类手写字符图片输入网络中，记录每一个神经元激活的次数，取每个神经元激活次数最多对应的输入分类作为该神经元的标签。
   测试时输入一张图片，然后观测每一个神经元的发射频率，取发射频率最高的神经元的标签作为该张图片的预测分类，最后对所有的预测（10轮测试集）取平均值。

讨论

1. 与相关工作的对比（comparison）
   分类准确率高；神经元和突触的数量较多；使用的模型和学习机制更利于硬件实现也更具有生物性，包括用指数型电导突触代替电流突触、用指数型STDP时间窗口代替矩形时间窗口、以及抑制型神经元是通过指数型电导发挥作用而不是一段固定的抑制时间（作者批判这种做法不实际且对硬件不友好）。
2. 关于抑制型神经元(inhibition)
   作者提出的结构中抑制型神经元与激活型神经元是一对一前向连接，然后反向全连接（除了已经建立的前向连接），除了这种连接方式还可以反向非全连接，只连接一部分，但是这种方式在神经元数量少时可能不利于homoeostasis。
3. 基于尖峰信号的学习的优势(spike-based learning)
   基于尖峰信号的学习相比于基于频率的学习更高效，尤其对于训练耗费大的情况；基于尖峰信号的学习动态调整能力比较强。
4. 竞争学习(competitive learning)
   作者分析了所提出结构的学习机理，认为其中蕴涵竞争学习的原理，类似于K-means方法，也即当一个神经元的权值pattern与输入很接近时它就会被触发，权值也会得到修正从而更加接近这个pattern，而其他神经元会被抑制不能根据当前pattern修正。这样就会使得不同的神经元可以学习各不相同的pattern。

思考

1. 每个激活性神经元连接一个对应的抑制型神经元，而且一个激活型神经元可以独自激活一个抑制型神经元，这样是不是影响了能够学习的的模型复杂度。
2. 学习机制不易于硬件实现，spike trace的应用有所偏离生物性，与STDP不构成直接的映射。
3. 层次化的SNN

其他

这篇文章还有一篇姊妹篇，发表在《Frontier in Computational Neuroscience》上，两篇文章的中心工作是基本相同的，不同的是问题的背景阐述和应对挑战的侧重点不同。发表在Neuroscience上这篇强调用生物相近的机制来建立学习方法（学习机制既具有生物属性，也能被有效组合形成可用的功能系统），以对生物神经系统的工作机理进行深入的理解。模型评估得到的结论是该设计识别功能对神经元的数量不敏感，而且对不同的学习机制的组合具有很好的鲁棒性，展现了建立异构神经网络的能力。
在这篇姊妹篇中作者对比了ANN和SNN的区别，有以下三点：
1. ANN用多位二进制数字传递信息，SNN中利用尖峰信号传递
2. ANN中的神经元是完美的积分器 (perfect integrator)，SNN中的是带会泄漏的积分器(leaky integrator)。
3. ANN用反向传播学习(back propagation)，SNN用局部的STDP学习，不需要neuron-specific修正信号。关于这一点作者补充说，基于STDP的学习机制可以用全局的奖励信号(reward signal)调制，因此可以用于强化学习(reinforcement learning)。
这篇文章还有

欢迎使用Markdown编辑器写博客

本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：

• Markdown和扩展Markdown简洁的语法
• 代码块高亮
• 图片链接和图片上传
• LaTex数学公式
• UML序列图和流程图
• 离线写博客
• 导入导出Markdown文件
• 丰富的快捷键

---

快捷键

• 加粗 Ctrl + B
• 斜体 Ctrl + I
• 引用 Ctrl + Q
• 插入链接 Ctrl + L
• 插入代码 Ctrl + K
• 插入图片 Ctrl + G
• 提升标题 Ctrl + H
• 有序列表 Ctrl + O
• 无序列表 Ctrl + U
• 横线 Ctrl + R
• 撤销 Ctrl + Z
• 重做 Ctrl + Y

Markdown及扩展

Markdown 是一种轻量级标记语言，它允许人们使用易读易写的纯文本格式编写文档，然后转换成格式丰富的HTML页面。 —— [ 维基百科 ]

使用简单的符号标识不同的标题，将某些文字标记为粗体或者斜体，创建一个链接等，详细语法参考帮助？。

本编辑器支持 Markdown Extra , 　扩展了很多好用的功能。具体请参考Github.

表格

Markdown　Extra　表格语法：

项目 价格 Computer $1600 Phone $12 Pipe $1

可以使用冒号来定义对齐方式：

项目 价格 数量 Computer 1600 元 5 Phone 12 元 12 Pipe 1 元 234

定义列表

Markdown　Extra　定义列表语法：

项目１

项目２

定义 A

定义 B

项目３

定义 C

定义 D

定义D内容

代码块

代码块语法遵循标准markdown代码，例如：

@requires_authorizationdef somefunc(param1='', param2=0):    '''A docstring'''    if param1 > param2: # interesting        print 'Greater'    return (param2 - param1 + 1) or Noneclass SomeClass:    pass>>> message = '''interpreter... prompt'''

脚注

生成一个脚注1.

目录

用 [TOC]来生成目录：

数学公式

使用MathJax渲染LaTex 数学公式，详见math.stackexchange.com.

• 行内公式，数学公式为：Γ(n)=(n−1)!∀n∈ℕ。
• 块级公式：

x=−b±b2−4ac‾‾‾‾‾‾‾‾√2a

更多LaTex语法请参考 这儿.

UML 图:

可以渲染序列图：

或者流程图：

• 关于 序列图 语法，参考 这儿,
• 关于 流程图 语法，参考 这儿.

离线写博客

即使用户在没有网络的情况下，也可以通过本编辑器离线写博客（直接在曾经使用过的浏览器中输入write.blog.csdn.net/mdeditor即可。Markdown编辑器使用浏览器离线存储将内容保存在本地。

用户写博客的过程中，内容实时保存在浏览器缓存中，在用户关闭浏览器或者其它异常情况下，内容不会丢失。用户再次打开浏览器时，会显示上次用户正在编辑的没有发表的内容。

博客发表后，本地缓存将被删除。　

用户可以选择 把正在写的博客保存到服务器草稿箱，即使换浏览器或者清除缓存，内容也不会丢失。

注意：虽然浏览器存储大部分时候都比较可靠，但为了您的数据安全，在联网后，请务必及时发表或者保存到服务器草稿箱。

浏览器兼容

1. 目前，本编辑器对Chrome浏览器支持最为完整。建议大家使用较新版本的Chrome。
2. IE９以下不支持
3. IE９，１０，１１存在以下问题
   
   1. 不支持离线功能
   2. IE9不支持文件导入导出
   3. IE10不支持拖拽文件导入

---

---

1. 这里是 脚注 的 内容. ↩