吴军《数学之美》部分概念笔记(12章-END）

从最大熵开始，进入较为复杂的数学模型。短期内不能理解。先行搁置。以后回头再看。

有限状态机：

基于递归/中间状态的一种计算机处理思想。

即划定必须经过的中间状态。进而减少非中间状态之间的节点的链路代价的遍历与计算成本。有些类似与DR/BDR技术

SVD奇异值分解

//todo

最大熵模型：

//todo

https://en.wikipedia.org/wiki/Generalized_iterative_scaling

http://blog.csdn.net/itplus/article/details/26550597

由于是一个凸模型。不会陷入局部极值。

L-BGFS:一个更快的算法/使用牛顿法和Hessian矩阵求解。

CNN/RNN定义：

//todo

LSTM的gate控制时间记忆

神经网络非线性函数：

//todo

sigmoid

tanh

ReLU