关于最近的一些总结

1：这个月事情简直太多了，都没时间上来记录一下了。7月13号本来放假了，结果被制定去做一个计算智能外教课的助教，不过学到了不少东西，这位老师在这个领域全球排名前10的。美国人，出生在台湾，人很好。

2：继续我的paper，一组实验做了8天了，还没跑完nnd。

3：继续跟着老板的RNN在做，也算是把RNN的模型理解透彻之后换成一种前馈的NN在做，模型简单了，但是能力还是很强

4：今天遇到一个很奇怪的问题，举个简单例子：一个两层网络，输入值为了简单起见我都制定为1了，然后输入大小是30，第二层也是30的大小，随机了一个权重，范围在0-1之间，结果发现sigmoid下，竟然都是1了，借着奇怪的事情就发生了，由于直接用的MSE来做的cost，导致cost也很大，于是对最后一层求的导数也很大，稍微减少一下，发现权重变得一个很大的负值，于是恶性循环出现了，就是cost一下子就是NaN了。由于是迭代了几千次才发生的，无耐仔细分析了下，发现是输入指定为1导致的，后来干脆让30个全部是0，一个是1来做，这个问题解决了。我想在MNIST中很多数据都是超级sparse的，所以才不会出现这个情况吧。

5：最近对contractive autoencoder来做BP，妈的发现真是复杂。。不过看到梯度检测通过了，还是开心，