正态分布具有很多好的性质,很多模型假设数据服从正态分布。但是如果数据不服从正态分布怎么办?
来源:互联网 发布:云计算服务分类 编辑:程序博客网 时间:2024/05/01 13:14
数据整体服从正态分布,那样本均值和方差则相互独立。正太分布具有很多好的性质,很多模型假设数据服从正态分布。例如线性回归(linear regression),它假设误差服从正态分布,从而每个样本点出现的概率就可以表示成正态分布的形式,将多个样本点连乘再取对数,就是所有训练集样本出现的条件概率,最大化这个条件概率就是LR要最终求解的问题。这里这个条件概率的最终表达式的形式就是我们熟悉的误差平方和。
ML中很多model都假设数据或参数服从正态分布,但是如果数据不服从正态分布怎么办?搜罗到这篇文章:http://udel.edu/~mcdonald/stattransform.html,是关于处理生物领域数据的handbook,很不错,里面用data transformations 方式来解决数据分布的这个问题。这里列举两种,有兴趣的可以看链接文章或继续搜索文章来研究。(希望哪个网友搜罗到好文章也给俺分享下)
data transformations步骤如下,
(1)首先根据数据样本画出均值和方差曲线
(2)如果均值和方差不相关,则不需要转换
(3)如果方差正比于均值,则进行square root transformation转换
(4)如果标准差正比于均值,则进行logarithmic transformation转换
ML中很多model都假设数据或参数服从正态分布,但是如果数据不服从正态分布怎么办?搜罗到这篇文章:http://udel.edu/~mcdonald/stattransform.html,是关于处理生物领域数据的handbook,很不错,里面用data transformations 方式来解决数据分布的这个问题。这里列举两种,有兴趣的可以看链接文章或继续搜索文章来研究。(希望哪个网友搜罗到好文章也给俺分享下)
data transformations步骤如下,
(1)首先根据数据样本画出均值和方差曲线
(2)如果均值和方差不相关,则不需要转换
(3)如果方差正比于均值,则进行square root transformation转换
(4)如果标准差正比于均值,则进行logarithmic transformation转换
检验数据正态性的方法有几大类,其中最为直观计算量也最小的就是图示法,里面有QQ图(分位数图)(@敲代码的张洋 说这个是最屌丝的方法,哈哈)、PP图(百分位数图)、SP图(稳定化概率图)。先不深入研究了,用到了再好好研究下吧。
0 0
- 正态分布具有很多好的性质,很多模型假设数据服从正态分布。但是如果数据不服从正态分布怎么办?
- 正态分布具有很多好的性质,很多模型假设数据服从正态分布。但是如果数据不服从正态分布怎么办?
- 正态分布具有很多好的性质,很多模型假设数据服从正态分布。但是如果数据不服从正态分布怎么办?
- 对服从正态分布的数据进行狄利克雷聚类
- 生成服从正态分布的随机数
- 正态分布
- 正态分布
- 正态分布
- 正态分布
- 正态分布
- 正态分布
- 正态分布
- 如何用minitab检测一组数据是否服从正态分布
- R_数据正态分布检验
- kMeans--正态分布数据分组
- 生成服从二维正态分布的随机数
- MATLAB解决正态分布数据的大致方法
- 同步直播(5):数据的正态分布
- Android Fragment详解(三): 实现Fragment的界面
- 动态规划之状态压缩
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
- Android Fragment详解(四):管理Fragment
- Titan - Using HBase
- 正态分布具有很多好的性质,很多模型假设数据服从正态分布。但是如果数据不服从正态分布怎么办?
- Android Fragment详解(五):Fragment与Activity通讯
- BSP编程模型(以NMF为例,试验基于消息传递的模型BSP过程)
- 在后台根据单据标识构建单据的DynamicObject,然后调用BOS的保存服务保存单据。
- Android Fragment详解(六):Fragement示例
- NYOJ 35 表达式求值(非递归+栈)
- MPI学习笔记(1)
- LeetCode之旅(38)
- Android UI开发第十二篇——动画效果Animation