机器学习基础知识（一）

概率论加和规则：

乘积规则：

即：

根据乘积规则，以及对称性p(X,Y ) = p(Y,X)，我们⽴即得到了下⾯的两个条件概率之间的关系：

p(Y | X) =p(X | Y )p(Y )/p(X)

这被称为贝叶斯定理（Bayes’ theorem），在模式识别和机器学习领域扮演者中⼼⾓⾊。使⽤加和规则，贝叶斯定理中的分母可以⽤出现在分⼦中的项表示：

p(X) =∑Yp(X | Y )p(Y )

以不同盒子选水果为例子：
如果在我们知道⽔果的种类之前，有⼈问我们哪个盒⼦被选中，那么我们能够得到的最多的信息就是概率p(B)。我们把这个叫做先验概率（prior probability）

⼀旦我们知道⽔果是橘⼦，我们就能够使⽤贝叶斯定理来计算概率p(B | F)。这个被称为后验概率（posteriorprobability）

概率密度：

满足两个条件：

期望和协方差：
涉及到概率的⼀个重要的操作是寻找函数的加权平均值。在概率分布p(x)下，函数f(x)的平均值被称为f(x)的期望（expectation），记作E[f]。对于⼀个离散变量，它的定义为：

E[f] =∑xp(x)f(x)

因此平均值根据x的不同值的相对概率加权。在连续变量的情形下，期望以对应的概率密度的积分的形式表示：

E[f] =∫p(x)f(x) dx

两种情形下，如果我们给定有限数量的N个点，这些点满⾜某个概率分布或者概率密度函数，那么期望可以通过求和的方式估计：

当N → ∞时，估计就会变得精确。

有时，我们会考虑多变量函数的期望。这种情形下，我们可以使⽤下标来表明被平均的是哪个变量，例如：

Ex[f(x,y)]

f(x)的⽅差（variance）被定义为：

var[f] = E[(f(x) − E[f(x)])2]

它度量了f(x)在均值E[f(x)]附近变化性的大小。把平方项展开，我们看到方差也可以写成f(x)和f(x)2的期望的形式：

var[f] = E[f(x)2] − E[f(x)]2

我们可以考虑变量x⾃⾝的⽅差，它由下式给出：

var[x] = E[x2] − E[x]2

对于两个随机变量x和y，协⽅差（covariance）被定义为：

cov[x,y] = Ex,y[{x − E[x]}{y − E[y]}] = Ex,y[xy] − E[x]E[y]

它表示在多大程度上x和y会共同变化。如果x和y相互独立，那么它们的协方差为0。
在两个随机向量x和y的情形下，协方差是⼀个矩阵：

cov[x,y] = Ex,y[{x − E[x]}{yT− E[yT]}] = Ex,y[xyT] − E[x]E[yT]