机器学习知识点(二十二)高斯分布(正态分布)基础知识

来源:互联网 发布:怎样申请淘宝卖家账号 编辑:程序博客网 时间:2024/04/29 02:50

1、概念

正态分布Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。

若随机变量X服从一个位置参数为\mu、尺度参数为\sigma的概率分布,记为:

X \sim N(\mu,\sigma^2),

则其概率密度函数为

f(x) = {1 \over \sigma\sqrt{2\pi} }\,e^{- {{(x-\mu )^2 \over 2\sigma^2}}}

正态分布的数学期望值或期望值\mu等于位置参数,决定了分布的位置;其方差\sigma^2的开平方或标准差\sigma等于尺度参数,决定了分布的幅度。

正态分布的概率密度函数曲线呈钟形,因此人们又经常称之为钟形曲线。我们通常所说的标准正态分布是位置参数\mu = 0, 尺度参数\sigma = 1的正态分布(见右图中绿色曲线)。

File:Normal distribution pdf.png


2、性质
1)如果X \sim N(\mu, \sigma^2) \,ab实数,那么a X + b \sim N(a \mu + b, (a \sigma)^2) ;
2)如果X \sim N(\mu_X, \sigma^2_X)Y \sim N(\mu_Y, \sigma^2_Y)统计独立的常态随机变量,那么:
         它们的和也满足正态分布U = X + Y \sim N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y) .
         它们的差也满足正态分布V = X - Y \sim N(\mu_X - \mu_Y, \sigma^2_X + \sigma^2_Y).
             UV两者是相互独立的。
3)X \sim N(0, \sigma^2_X)Y \sim N(0, \sigma^2_Y)是独立常态随机变量,那么:
     它们的积X Y服从概率密度函数为p的分布
       p(z) = \frac{1}{\pi\,\sigma_X\,\sigma_Y} \; K_0\left(\frac{|z|}{\sigma_X\,\sigma_Y}\right),其中K_0是修正贝塞尔函数(modified Bessel function)
     它们的比符合柯西分布,满足X/Y \sim \mathrm{Cauchy}(0, \sigma_X/\sigma_Y).
4)如果X_1, \cdots, X_n为独立标准常态随机变量,那么X_1^2 + \cdots + X_n^2服从自由度为n卡方分布

3、更多可以阅读:http://songshuhui.net/archives/76501
    讲述正态分布的前世今生。

4、在知乎上看到一张关于各种统计分布的关系的神图:

论文地址:http://www.math.wm.edu/~leemis/2008amstat.pdf

0 0
原创粉丝点击