经典机器学习算法系列2-朴素贝叶斯法

该处的朴素贝叶斯法是指朴素贝叶斯分类法，基于贝叶斯定理和特征条件独立假设的数学原理

1.数学原理1-贝叶斯定理

    所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有 N 个白球，M 个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题，就是所谓的逆向概率问题。

   博客[3]给出了一个更通俗的讲解。通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。似乎朴素贝叶斯只能用于属性值是离散的情况，连续的还未知。

相关概念

1.1 条件概率：事件A在事件B已经发生的条件下的发生概率，记为P(A|B)

条件概率公式为P(A|B) = P(AB)/P(B)

1.2 联合概率：事件A和事件B同时发生的概率，记为P(AB)

乘法公式为P(AB) = P(A|B)P(B)

1.3 先验概率和后验概率

事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. （先，通前，事情发生前，圈起来要考）
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.（后，通后，事情发生后，圈起来要考）

1.4 贝叶斯公式

1.5 极大似然估计

【1】知乎 

【2】数学知识 

【3】算法杂货铺-分类算法之朴素贝叶斯 

【4】先验概率、后验概率及贝叶斯公式