Max Time-Delay Neural Networks

转载自：http://blog.csdn.net/wangxinginnlp/article/details/44977067

Time-Delay Neural Networks的解释见：http://en.wikipedia.org/wiki/Time_delay_neural_network

在参考文献中的两篇文章都使用以上述TDNN为基础Max-TDNN开始进行sentence modeling。

在文献[2]中sentence modeling最开始对输入层进行基本操作是卷积运算(convolution)，他们的one-dimensional convolution分为两种 narrow类型和wide类型。

 卷积公式为。上述公式中m取5。简单看就是下面的5个连续的与对应的权重进行操作得到上面的一个点。

左侧的narrow和右侧的wide的区别

1）公式上看是取值不同，narrow中为[m,s]，wide为[1,s+m-1]。（s为输入层的长度）

2）从图像上看就是右侧需要对下层的点进行补0(左侧和右侧)，使得上面多出的点仍可以进行卷积操作。

TDNN将输入s看成是一个带有时间维度的序列。在phoneme recognition中，输入序列中每个单位不是单值（如上图），而是一个d维向量。其进行卷积操作的m也需要进行改变，从上述的一个向量扩展为一个d*m的矩阵。这样一来，上述的图也需要进行扩展，可以看做在上图的基础上进行纵向扩展，每一个点变为一个d维度的向量（该处的点是向量在平面上的一个投影）。同样的，输出的序列c也要扩展为矩阵。

Max-TDNN是对上述TDNN的进一步约束。上图中序列c长度是随着输入序列s的长度变化而变化，而在一般神经网络中输入长度是需要固定的（超参数）。在TDNN中，输出的序列c矩阵列数变化，而行数是固定，为d。取每一行最大值形成一个新的固定d维度的向量。

简单总结：Max-TDNN让变长的自然语言句子适应普通的神经网络的定长输入。

参考文章：

[1] A Unified Architecture for Natural Language Processing：Deep Neural Networks with Multitask Learning ICML08

[2] A convolutional neural network for modelling sentences ACL14