高斯判别分析(GDA,Gaussian discriminant analsis)和Logistic回归

高斯判别分析与Logistic回归之间是有一定关系的，通过公式转换，我们能够把高斯判别分析的公式转换为Logistic回归公式。但是高斯判别分析与Logistic回归之间有什么关系呢？

如果x|y∼Gaussian(意为给定y的情况下x符合高斯分布)，那么对于p(y|x)一定一个Logistic函数；反过来，如果p(y|x)是一个Logistic函数，但是x|y不一定符合高斯分布。更一般的，对于x|y∼ExponentialFamily(η)，那么p(y|x)是一个logistic函数。

其实高斯判别分析中x|y是一个比较强的假设(举例来说x∼Gaussian相对于x∼ExponentialFamily来说就是一个强假设)，而对于Logistic回归是一个比较弱的假设。当我们知道x|y符合或者近似符合高斯分布时，我们可以使用高斯判别分析，此时，我们只需要相对较少的训练数据，就能得到比较好的分类器；这时如果我们使用Logistic回归，那么要想取得与高斯判别分析性能相近的分类器，就需要相对来说更多的数据量。相对的，如果我们不知道x|y是什么分布，那使用Logistic回归得到的分类器相对与高斯判别分析得到的分类器可能会更好，也就是说Logistic回归的鲁棒性会更好。

基于以上原因，在实际应用中使用Logistic回归相对来说会更多。