机器学习总结(三):矩估计
来源:互联网 发布:淘宝多少天自动付款 编辑:程序博客网 时间:2024/05/19 06:51
鉴于后续机器学习课程中多次提到参数估计的概念,为了避免囫囵吞枣的理解某些知识点,决定对概率统计的这部分知识点进行简要总结,这篇博客主要涉及的是点估计中的矩估计知识点,后续的博客将总结点估计中其他两个比较常见的方式,极大似然估计以及最小二乘法。
基础概念
为什么要出现估计呢?
因为在统计学中,所要观测的数据量往往都比较大,我们不可能将所有数据全部都进行统计,一种可行的方式就是从这些数据量中抽取一部分数据,这时候便用到了估计的知识,用抽取出来的样本的情况来估计总体的情况。
参数估计的概念
参数估计指的是根据从总体中抽取出来的样本来估计总体分布中包含的未知参数的方法,分为点估计和区间估计两种。
点估计的概念
依据从总体中抽取出来的样本来估计总体分布中的未知参数,点估计具体分为:矩估计、极大似然估计(MLE)以及最小二乘法。
区间估计的概念
依据抽取出来的样本,根据一定的准确度和精确度要求,构造适当的区间作为对总体分布中的未知参数的真值所在范围的估计,比如人们常说的百分之多少把某个数据控制在某个范围内就是区间估计最通俗的表述。
大数定律
矩估计的理论依据就是基于大数定律的,大数定律语言化的表述为:当总体的k阶矩存在时,样本的k阶矩依概率收敛于总体的k阶矩,即当抽取的样本数量n充分大的时候,样本矩将约等于总体矩。
矩估计
矩的概念
详情见附加笔记第(1)点
样本矩、样本均值、样本方差的概念
详情见附加笔记第(2)点
矩估计实现原理
矩估计的原理总结来讲为:令总体矩的k阶矩分别等于样本的k阶矩即可,至于到底会涉及到k是多大就要看你要估计的总体中包含几个未知参数了,包含几个k就应该是几。
通俗的讲,为什么k阶样本矩分别等于k阶总体矩就能算出总体的参数,原因在于,样本中的期望和方差是我们可以直观计算出来的常数,而总体的期望和方差是带有未知参数的,两者分别相等能够联立出等式计算出未知参数。
一个简单的例子
详情见附加笔记第(3)点
关于样本均值、样本方差、总体均值、总体方差的符号说明
详情见附加笔记第(4)点
矩估计的优缺点
优点:在不清楚总体分布具体属于什么分布的情况下,只需要根据均值和方差进行估计即可。
缺点:如果在总体分布已知的情况下,并不能很好的使用对应分布类型的信息,因为矩估计根本就不看重总体分布到底属于那种类型。
关于样本方差公式中除以n-1而不是n的思考
这样做的目的纯粹是为了保证能够无偏估计参数
无偏估计的概念
用样本统计量来估计总体参数时的一种无偏判断,如果估计量的数学期望等于被估参数的真实值,则称此估计量为被估参数的无偏估计。
对样本方差中除以n-1原因的探讨
详情见附加笔记第(5)点
附加笔记
参考文献
- http://blog.csdn.net/liuyuemaicha/article/details/52497512
- http://www.cnblogs.com/tangchong/p/3157710.html
- http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html
- https://wenku.baidu.com/view/8ef4d699dd3383c4bb4cd2c8.html
- https://www.zhihu.com/question/23340486
- https://www.zhihu.com/question/38185998
- https://www.zhihu.com/question/20099757/answer/26586088
- 机器学习总结(三):矩估计
- 机器学习总结(四):极大似然估计与最小二乘法
- 机器学习之极大似然估计
- 机器学习数学|大数定理中心极限定理矩估计
- 机器学习笔记(二)矩估计,极大似然估计
- 机器学习之概率与统计(三)- 极大似然估计
- 机器学习总结(三)——SVM
- 机器学习:贝叶斯_1:贝叶斯估计
- 机器学习之--最大似然估计
- 机器学习基础--最大似然估计
- 机器学习数学|极大似然估计
- 机器学习->统计学基础->贝叶斯估计,最大似然估计(MLE),最大后验估计(MAP)
- 机器学习->统计学基础->贝叶斯估计,最大似然估计(MLE),最大后验估计(MAP)
- 个人学习总结一机器学习入门(三)
- 最大似然估计学习总结
- 最大似然估计学习总结
- 最大似然估计学习总结
- 极大似然估计学习总结
- 训练总结 8.17
- python 安装whl文件
- MQ消息中间件的应用场景
- 一个非常适合python入门和学习的网站
- 泛型的优点
- 机器学习总结(三):矩估计
- java学习——java基础(二)之关键字
- 中英文换行
- 从网络上异步加载数据,显示到ListView上
- SSIS包配置的执行顺序
- JavaScript学习之数组去重
- 【C++】C++大数之运算符重载
- Android数据加载界面状态切换:加载中样式,空数据样式,错误时样式
- SpringBoot之Helloworld