机器学习之路，你可能需要用到的...

保留初心，砥砺前行

这里不仅记录一些在学习中查阅的有营养的资料，同时也记录了一点我对于该资源的看法，供同路的同学们享用。

资源都是零零碎碎的，没有完整的套路或者体系。但是每天除了正餐，有一些零食才会显得更加丰富多彩。所以，

一定会有某些内容帮助到你。

• 最小二乘法
  这篇文章不仅仅把最小二乘法是什么说的一清二楚（这并不是我推荐这一篇的目的），而且把大部分同学从没有想过的、或者说从没有注意过的问题——为什么是最小二乘法（这才是重点），也分析的透彻。
  阅读重点在第四部分——原理探究，和该章节的那个链接。

• 令人拍案叫绝的Wasserstein GAN
  这篇文章对于不喜欢看论文的我来说实在是福音（其实是看不懂）。深入浅出、完整地解释了Wasserstein GAN论文中的内容，不仅包括原理，还有公式推导。并且公式推导容易理解，对于数学小白非常友好。

• 深度学习训练时GPU温度过高？几个命令，为你的GPU迅速降温。
  炎炎夏日，虽然空调与风扇齐飞，但是我的位置仍然要比其他人高上好几度，一阵一阵的热浪从腿边的机箱里涌向全身。可能很多机器学习的同仁们在跑程序的时候都会有这样的体会，所以这篇文章，绝对有用。

• 训练神经网络时如何确定batch的大小？
  这篇文章有些标题党了，内容一般吧。不过看看还是有一点好处。

• 只知道GAN你就OUT了——VAE背后的哲学思想及数学原理
  只知道GAN你就OUT了，听到没，还不快来看看新东西。
  这篇文章在我看来不算VAE入门，需要一些VAE的基础和一些数学功底，然后再多读几次，会对VAE的理解产生一次飞跃。
  这篇文章和上边所讲的《令人拍案叫绝的Wasserstein GAN》一样，都是需要在对GAN和VAE的实践中不断地、一遍又一遍地阅读，然后会产生更深的理解。

• 解读Batch Normalization

• 深度学习中 Batch Normalization为什么效果好？
  对于Batch Normalization来讲，这两篇就够了。
  batch normalization就是“批规范化”。Google在ICML文中描述的非常清晰，即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1.
  在神经网络训练时遇到收敛速度很慢，或梯度爆炸等无法训练的状况时可以尝试BN来解决。另外，在一般使用情况下也可以加入BN来加快训练速度，提高模型精度。

• 在使用tensorflow的时候，有没有办法限制每个任务占用显存的大小？
  跑起来一个模型，整个显存就被占满了，真是一个不方便的设定。但是这个是可以修改的。
  不过为什么谷歌要做默认占满显存的设置呢？

• 《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》论文笔记
  seqGAN是将增强学习和GAN结合的第一个作品，很有意义。并且这种思想还可以继续挖下去。论文看着困难的话，就看这个吧~

• GAN隐空间维数选择
  很好玩的一篇文章，在跑GAN的时候有没有想过变换初始噪声的维度？还是一直在用默认的100？有没有想过这个维度可以代表什么，变大或变小对于训练结果会产生什么影响？
  读完了这一篇可以试着写一下代码实现其中的公式，看看你的数据集所需的最小维度是多少。

---

如果你也喜欢机器学习，并且也像我一样在ML之路上努力，请关注我，我会进行不定期更新，总有一些可以帮到你。