声学模型训练-LDA算法

语音识别中，为了增强音频特征的鲁棒性，需要提取区分能力较强的特征向量，常用的方法是PCA和LDA算法。

PCA算法寻找，保留数据中最有效的，最重要的成分，舍去一些冗余的，包含信息量减少的成分。

LDA算法是通过一个变化矩阵来达到降维的目的，LDA与PCA不同之处在于，LDA使得样本内的分布凝聚，使得样本间的分布疏远，这样的特征更加有代表性，在分类里面LDA算法更优。

如下图所示：

LDA有如下假设：

1）特征向量投影后不是所有的维都包含具有区分力的信息，他们都被包含在前P维子空间，而后（n-p）维子空间不包含有用的信息而被忽略；

2）每个样本内都是高斯分布。

公式定义如下：

当语音特征用向量表示时，LDA算法希望模式样本间的协方差矩阵Sb越大越好，

而样本内的协方差矩阵Sw越小越好，因此上式中使得Wopt取最大值。

投影矩阵的列向量为：d个最大特征值（矩阵的特征向量）所对应的特征向量

经过LDA变换后的协方差矩阵不能对角化，因此需要经过MLLT（MaximumLikelihood Linear Transformation, MLLT ）进行变换。

MLLT算法的介绍会在下一篇文章详细介绍。