斯坦福深度学习课程解释--第二课

最近开始看深度学习的视频。我从youtube上下载了斯坦福的2016年cs224D。感到其中有一些内容需要注解，便于自己的理解。在此也拿出来和大家分享。

第一课是入门的简介，没什么好解释的，从第二课开始。

第二课讲到大约20分钟时，提到利用svd(singular value decomposition)来让神经网络学习人类语言。并利用numpy给了个例子。

讲座者利用svd（singular value decomposition）分解了矩阵X。svd把X转化为3个矩阵的乘积：X = U*s*Vh。

随后，讲座者取了U矩阵的前两列，第0列做横轴，第1列做纵轴，绘制图，如第二张所示。

我也检验了其中几个点的结果：

比如words数组的第二个元素是“like”。like在U矩阵的第0列对应值是-0.594438（在words中的位置对应在U的行数），而在U矩阵第1列对应0.63012，因此显示在图的左上角。

注意，由于X矩阵是8乘8的，所以以上单词被模型“放置”到了一个8维空间里面。第二幅图展示的只是其中两个维度，换言之，是在某个方向的投影。