正态分布的前世今生之四
来源:互联网 发布:最新聊天软件 编辑:程序博客网 时间:2024/05/17 07:53
原文地址:http://www.52nlp.cn/%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83%E7%9A%84%E5%89%8D%E4%B8%96%E4%BB%8A%E7%94%9F%E5%9B%9B
(五)曲径通幽处,禅房花木深,正态分布的各种推导
在介绍正态分布的后续发展之前,我们来多讲一点数学,也许有些人会觉得枯燥,不过高斯曾经说过:“数学是上帝的语言”。所以要想更加深入的理解正态分布的美,唯有通过上帝的语言。
造物主造物的准则往往是简单明了的,只是在纷繁芜杂的万物之中,我们要发现并领会它并非易事。之前提到过,17-18世纪科学界流行的做法,是尽可能从某种简单明了的准则(first principle)出发作为我们探求的起点,而后来的数学家和物理学家们研究发现,屡次从一些给定的简单的准则出发,我们总是被引领到了正态分布的家门口,这让人感觉到正态分布的美妙。
达尔文的表弟高尔顿是生物学家兼统计学家,他对正态分布非常的推崇与赞美:”我几乎不曾见过像误差呈正态分布这么激发人们无穷想象的宇宙秩序“。当代两位伟大的概率学家 Levy 和 Kac 都曾经说过, 正态分布是他们切入概率论的初恋情人,具有无穷的魅力。自从 1919 年以后,Levy 研究的主题曲就是正态分布,他一而再再而三的以他为出发点,并且屡次坚决的又回到她......如果古希腊人知道正态分布,想必奥林匹斯山的神殿里会多出一个正态女神,由她来掌管世间的混沌。
要拉下正态分布的神秘面纱展现她的美丽,需要高深的概率论知识,本人在数学方面知识浅薄,不能胜任。只能在极为有限的范围内尝试掀开她的面纱的一角。棣莫弗和拉普拉斯以抛钢镚的序列求和为出发点,沿着一条小径把我们第一次领到了正态分布的家门口,这条路叫作中心极限定理,而这条路上风景秀丽,许多概率学家都为之倾倒,这条路在20世纪被概率学家们越拓越宽。而后数学家和物理学家们发现:条条曲径通正态。著名的物理学家 E.T.Jaynes 在他的名著《Probability Theory, the Logic of Science》(中文书名翻译为《概率论沉思录》)中,描绘了四条通往正态分布的小径。曲径通幽处,禅房花木深,让我们一起来欣赏一下四条小径上的风景吧。
1. 高斯的推导(1809)
第一条小径是高斯找到的,高斯以如下准则作为小径的出发点
误差分布导出的极大似然估计 = 算术平均值
设真值为
假设误差
为求极大似然估计,令
整理后可以得到
令
由于高斯假设极大似然估计的解就是算术平均
(*) 式中取
由于此时有
(*) 式中再取
所以得到
而满足上式的唯一的连续函数就是
由于
2. Herschel(1850)和 Maxwell(1860) 的推导
第二条小径是天文学家 Hershcel 和物理学家麦克斯韦(Maxwell) 发现的。1850年,天文学家 John Herschel 在对星星的位置进行测量的时候,需要考虑二维的误差分布,为了推导这个误差的概率密度分布
- x 轴和 y 轴的误差是相互独立的,即误差的概率在正交的方向上相互独立
- 误差的概率分布在空间上具有旋转对称性,即误差的概率分布和角度没有关系
这两个准则对于 Herschel 考虑的实际测量问题看起来都很合理。由准则1,可以得到
把这个函数转换为极坐标,在极坐标下的概率密度函数设为
由准则2,
综合以上,我们可以得到
取
令
从这个函数方程中容易求解出
而
1860 年,我们伟大的物理学家麦克斯韦在考虑气体分子的运动速度分布的时候,在三维空间中基于类似的准则推导出了气体分子运动的分布是正态分布
所以这个分布其实是三个正态分布的乘积,你的物理老师是否告诉过你其实这个分布就是三维正态分布?反正我是一直不知道,直到今年才明白
Herschel-Maxwell 推导的神妙之处在于,没有利用任何概率论的知识,只是基于空间几何的不变性,就推导出了正态分布。
3. Landon 的推导(1941)
第三条道是一位电气工程师,Vernon D. Landon 给出的。1941 年,Landon 研究通信电路中的噪声电压,通过分析经验数据他发现噪声电压的分布模式很相似,不同的是分布的层级,而这个层级可以使用方差
- 随机噪声具有稳定的分布模式
- 累加一个微小的随机噪声,不改变其稳定的分布模式,只改变分布的层级(用方差度量)
用数学的语言描述: 如果
现在我们来推导满足以上两个准则的函数
把
记
对于微小的随机扰动
对于新的噪声电压是
比较 以上
而这个方程就是物理上著名的扩散方程(diffusion equation),求解该方程就得到
又一次,我们推导出了正态分布!
E.T. Jaynes对于这个推导的评价很高,认为Landon 的推导本质上给出了自然界的噪音形成的过程。他指出这个推导这基本上就是中心极限定理的增量式版本,相比于中心极限定理是一次性累加所有的因素,Landon 的推导是每次在原有的分布上去累加一个微小的扰动。
而在这个推导中,我们看到,正态分布具有相当好的稳定性;只要数据中正态的模式已经形成,他就容易继续保持正态分布,无论外部累加的随机噪声
4. 最大熵和正态分布
还有一条神妙的小径是基于最大熵原理的, 物理学家 E.T.Jaynes 在最大熵原理上有非常重要的贡献,他在《概率论沉思录》里面对这个方法有描述和证明,没有提到发现者,我不确认这条道的发现者是否是 E.T.Jaynes 本人。
熵在物理学中由来已久,信息论的创始人香农(Claude Elwood Shannon)把这个概念引入了信息论,学习机器学习的同学们都知道目前机器学习中有一个非常好用的分类算法叫最大熵分类器。要想把熵和最大熵的来龙去脉说清楚可不容易,希望我后续能有时间整理一下。这条道的风景是相当独特的,E.T.Jaynes 对这条道也是偏爱有加。
对于一个概率分布
如果给定一个分布函数
(Todo: 插入证明)
E.T.Jaynes 显然对正态分布具有这样的性质极为赞赏,因为这从信息论的角度证明了正态分布的优良性。而我们可以看到,熵的大小,取决于方差的大小。 这也容易理解, 因为正态分布的均值和密度函数的形状无关,而熵的大小反应概率分布中的信息量,显然和密度函数的形状相关,而正态分布的形状是由其方差决定的。
好的,风景欣赏暂时告一段落。所谓横看成岭侧成峰,远近高低各不同,正态分布给人们提供了多种欣赏角度和想象空间。法国菩萨级别的大数学家庞加莱对正态分布说过一段有意思的话,引用来作为这个小节的结束:
Physicists believe that the Gaussian law has been proved in mathematics while mathematicians think that it was experimentally established in physics.
— Henri Poincaré
- 正态分布的前世今生之四
- 正态分布的前世今生
- 正态分布的前世今生
- 正态分布的前世今生
- 正态分布的前世今生
- 正态分布的前世今生
- 正态分布的前世今生之二
- 正态分布的前世今生之三
- 正态分布的前世今生之一
- 正态分布的前世今生(一)
- 正态分布的前世今生(五)
- 正态分布的前世今生:最小二乘法
- 正态分布的前世今生:正态魅影
- 正态分布的前世今生(一)
- 正态分布的前世今生(一)
- 正态分布的前世今生(上)
- 正态分布的前世今生(下)
- 正态分布的前世今生(上)
- 正态分布的前世今生之二
- android 混淆代码gson数据nullpointerexception
- JSChart:Input data in wrong format for selected chart type
- 我对linux理解之v4l2
- 正态分布的前世今生之三
- 正态分布的前世今生之四
- ORA-00600: ORA-12012 ORA-08102解决
- 【新闻】长沙一年投入15亿元保证项目建设 群众乐享文化大餐
- 包茂高速两辆法拉利跑车撞栏 1辆面目全非(图)-法拉利
- 设计网站大全
- 从 prototype.js 深入学习 javascript 的面向对象特性
- c++基础学习 - 命名空间
- Ubuntu12.04建立PHP服务器(apache+php+mysql)
- linux下完全删除oracle