NTU深度学习笔记3

Structred Linear Model

这节课介绍了上节课的几个问题的解决。
首先一个问题是估计函数F(x,y)如何表示：

为参数和函数的内积。函数ϕ(x,y)可以为很多衡量x,y关系的因素。

第二个问题是如何解决y=argmaxy∈YF(x,y)这个问题。这里的解决方法是…假设已经解决了。

第三个问题是如何训练。

算法如下：

大概思想是正确的向量w与ϕ函数的内积为最大。

因此总结来说，将三个问题化简为两个问题：

Structured Support Vector Machine

这节课简要介绍了Structured SVM。

并介绍了Cutting Plane算法来训练w：

Sequence Labeling Problem

介绍了Sequence Labeling问题，即输入是一个序列，输出也是一个序列的问题。RNN可以解决这个问题，但Structured Learning也能解决。

实际应用的一个例子是语法分析。

HMM

从HMM的角度分析这个问题，步骤一是先基于语法生成一个POS序列；步骤二是基与生成的语法序列和词典，生成语句。

将两个步骤合并起来：

求解的时候可以直接计算argmaxy∈YP(x,y)，推导如下图：

而计算方法是viterbi算法，时间复杂度由暴力枚举所有可能y的O(|s|L)降到O(L|S|2)。

总而言之，HMM包含以下三个过程：

CRF

接着简要介绍了CRF算法，对比了HMM。

CRF算法：

Structured SVM

常用框架：

在Speech Recognition中：CNN/RNN or LSTM/DNN + HMM。

在Semantic Tagging中：Bi-directional RNN/LSTM+CRF/Structured SVM。

Summary

Introduction of SVMstruct

简要介绍了python中structured SVM的tool用法。

Learning with Hidden Information

这节课首先介绍了不同种类的学习。

引入了对隐藏变量的学习。
例子有：Sentiment Analysis，Summarization，Speech Recognition，Machine Translation。

解决问题的方法依旧是2个步骤3个问题的大框架。

2个步骤：

3个问题：

然后以object detection作为例子来介绍Structured SVM with Hidden Information：
一个相同的物体，从不同角度来看，形状特征有可能是完全不一样的。可以有两种方法来解决物体的监测，第一种方法是枚举物体的有限形态；第二种方法是从data中学习出物体的本质特征，用到EM-like算法。

Graphical Model

图模型是一种描述估计函数(evaluation function)的语言。即将F(x,y)转换为一个图。有三种图模型，Factor graph，Markov Random Field 和 Bayesian Network。
这节课只简要介绍了factor graph 和MRF。

Factor Graph：

MRF：
是用最大联通块来表示的。

Markov Logic Network

简要介绍了MLN，以及MLN如何训练。

Deep Learning for Human Language Processing

简要介绍了DSSM、RNN、Unsupervised Learning在NLP中的应用。

Deep Learning for Language Modeling

一个语言模型衡量的是一个单词串的概率。
之后介绍了基于语言模型的神经网络，RNN模型。

Unsupervised Learning

简要介绍了Unsupervised Learning，Restricted Boltzmann Machine。

Attention-Based Model

这节课介绍了Attention-Based Model，并举了几个具体的例子。

Machine Translation

Image Caption Generation

Reading Comprehension