Horizon 笔试

考了 pls, rbm, auto-encoder,svm核函数，贝叶斯估计公式，神经网络优化算法（如SGD），梯度消失及改进，编程题是统计英文单词频率和链表翻转

pls: 偏最小二乘回归（Partial Least Square Regression，PLS）

rbm：受限波尔兹曼机（Restricted Boltzmann Machine， RBM）

auro-encoder:Autoencoder 是一种无监督机器学习技术，使用了一个神经网络来产生一个高维输入的低维表示。传统的维度下降依赖于线性方法，如 PCA，找出高维数据中最大的方差的方向。通过选择这些方向，PCA 本质上刻画了包含了最终信息的方向。所以我们可以找到一个较小的维度的数目来作为降维的结果。然而，PCA 方法的线性性也是导致自身可以抽取出的特征维度类型上的很大限制。autoencoder 克服了这些限制通过引入神经网络天生的非线性性。autoencoder 包含两个主要的部分，encoder 和 decoder 网络。encoder 网络在训练和部署时候使用，而 decoder 网络只在训练的时候用。encoder 网络的作用是用来发现给定数据的压缩表示。这里我们从一个2000 维的输入产生了其 30 维的表示。decoder 网络的作用仅仅是 encoder 网络的反射，是用来进行原始输入的尽可能地相同的重建的表示。

svm核函数：核函数的基本作用就是接受两个低维空间里的向量，能够计算出经过某个变换后在高维空间里的向量内积值。最终使用低维空间中的点求得高维空间中的线性函数，使得在低维空间中线性不可分的问题在高维空间线性可分。

贝叶斯估计：P(A|B)=P(B|A)*P(A)/P(B)

神经网络权值优化算法：SGD MOMENTUM NAG Adagrad Adadelta Rmsprop

梯度消失：
解决方法：RELU作为引入的非线性激活函数.梯度弥散和梯度膨胀都属于不稳定的梯度问题：根本的问题其实是在前面的层上的梯度是来自后面的层上项的乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景。唯一让所有层都接近相同的学习速度的方式是所有这些项的乘积都能得到一种平衡。如果没有某种机制或者更加本质的保证来达成平衡，那网络就很容易不稳定了。简而言之，真实的问题就是神经网络受限于不稳定梯度的问题。