吴恩达机器学习之朴素贝叶斯

判别学习算法与生成学习算法

1. 判别学习算法直接学习p(y∣x)或者hθ(x)
2. 生成学习算法通过对类条件概率p(x∣y)建模，得到后验概率p(y∣x)

高斯判别分析

1. 假设y∈Bernoulli(ϕ)，即p(y=1∣x)=ϕ)
2. 假设p(x∣y=0)∈N(μ0,∑)，p(x∣y=1)∈N(μ1,∑)
   根据贝叶斯公式有：p(y∣x)=p(x∣y)p(y)p(x)，由于p(x)对每一个样本都是一样的
   所以：y=argmaxyp(x∣y)p(y)p(x)=argmaxyp(x∣y)p(y)

(联合概率分布)极大似然法求参数

ψ(ϕ,μ0,μ1,∑)=log∏mi=1p(xi,yi)
=log∏mi=1p(xi∣yi)p(yi)
=log∏mi=1(p(xi∣yi=1)yip(xi∣yi=0)1−yi)+log(p(yi))
∑mi=1(yilogp(xi∣yi=1)+(1−yi)logp(xi∣yi=0))+logp(yi)
∑mi=1yilogp(xi∣yi=1)+∑mi=1(1−yi)logp(xi∣yi=0)+logp(yi)
用极大似然法求最大值，那么需要求似然函数对各个参数的偏导数，具体的推导过程可以参考下面这篇文章，我只给出最终答案。https://www.cnblogs.com/jcchen1987/p/4424436.html
代码实现可以参考下面这篇文章http://m.blog.csdn.net/sjtuai/article/details/75375578
μ0=∑mi=1I(yi=0)xi∑mi=1I(yi=0)，μ1=∑mi=1I(yi=1)xi∑mi=1I(yi=1)
ϕ=∑mi=1I(yi=1)∑mi=1(I(yi=1)+I(yi=0))=∑mi=1I(yi=1)m
∑=1m∑mi=1(xi−μyi)(xi−μyi)T

优缺点

1. p(x∣y)服从高斯分布时，p(y=1∣x)是logistic函数
2. p(x∣y)服从泊松分布时，p(y=1∣x)是logistic函数
3. p(x∣y)服从指数分布时，p(y=1∣x)是logistic函数
   具体求解过程参考下面这篇文章http://m.blog.csdn.net/sjtuai/article/details/75375578

拉普拉斯平滑

p(y=1∣x)=∑mi=1I(yi=1)∑mi=1(I(yi=1)+I(yi=0))=∑mi=1I(yi=1)∑mi=1(I(yi=1)+I(yi=0))，经过拉普拉斯修正后，变成：
p(y=1)=∑mi=1I(yi=1)+1∑mi=1(I(yi=1)+I(yi=0))+k，其中k是分类类别数
类的条件概率p(x∣y)的计算公式如下：p(xi∣y)=Dc,xiDc
经过修正后：
p(xi∣y)=Dc,xi+1Dc+Ni，其中Ni是di属性可能取值的数目