神经网络中快速傅立叶变换(FFT)的梯度传递

最近需要在神经网络中构造复数酉矩阵做权重系数,使用了快速傅立叶变换和反变换.
但是FFT不是theano的现成操作模块(有人写过对应的代码,所以应该会很快加进去了),所以想自己去写梯度传递来彻底搞清楚这件事.
重新学一遍离散Fourier transform再加找梯度相关的文献学习,整整花了一周时间.从本科一毕业DFT就忘光了...
在此总结了下,不得不说推倒的结果出来以后,真是出乎意料的漂亮,所以实现起来更是异常简单.


傅立叶变换是线性变换.所以可以写成F(x)=Fx的形式, F是复矩阵,x是向量.
如果是实数,根据d/dx (Ay)=A * d/dx (y). 大白话说,矩阵F乘向量x这种运算的雅可比矩阵(雅可比矩阵是函数的一阶偏导数以一定方式排列成的矩阵)就是F矩阵本身.
雅可比矩阵乘以输出端梯度就可以由F和向量的乘法实现了.
ok,拓展到复数领域,用的是F的共轭转置,这里有个简单的例子大概理解一下https://math.stackexchange.com/questions/828689/complex-function-and-jacobian-matrix.
然而傅立叶变换矩阵不只如此,傅立叶变换矩阵F本身是个按比例(1/sqrt(N))缩放过的酉矩阵(scaled unitary matrix),其逆矩阵就是其共轭转置的1/N, 具体的请看多伦多大学的论文证明11页23式(http://www.cs.toronto.edu/~jepson/csc320/notes/fourier.pdf)
这么一来,求傅立叶变换的梯度反向传播,就是用傅立叶逆变换完成.注意,我们乎略1/N这个比例系数.因为如果把傅立叶变换矩阵用sqrt(N)缩放一下编成酉矩阵的话,比例系数就是1了.
反之,傅立叶逆变换的梯度反向传播,就是用傅立叶变换了来实现了.
奇妙~!

参考:

斯坦福大学快速傅立叶变换课堂视频  http://open.163.com/movie/2008/2/A/L/M7Q4BLENR_M7QDNTVAL.html

傅立叶变换的在线教程  http://fourier.eng.hmc.edu/e161/lectures/fourier/fourier.html

西电DFT与FFT课件  http://web.xidian.edu.cn/kywang/files/20121027_164737.pdf

酉矩阵  https://zh.wikipedia.org/wiki/%E9%85%89%E7%9F%A9%E9%98%B5

谷歌群组的讨论  https://groups.google.com/forum/#!topic/theano-dev/ZqSf3lBH89U