解析:大数据的滥用及弱点
来源:互联网 发布:淘宝众筹能退款吗 编辑:程序博客网 时间:2024/05/17 06:23
大数据这个话题在网上传的很神,尤其是我国这个每个人什么都懂一点但又懂得不精的土地上,有种安利好产品准备取代传统营销的感觉。
对码农来说如获至宝,世界上的数据太多,本来被认为是煤干渣的东西现在好像也可以当钻石了,煤窑工人挥舞锄头高喊:万岁data mining!不过我认为这也没错,随着技术的进步,苞米也能替代汽油,煤干渣也可以做成首饰。大数据对工程学是很好的,但是矿工拿煤干渣当钻石推销到社会科学,说这玩意可以代替统计学和抽样技术,我就不乐意了。物理学家对大数据也颇有微词,不过我不懂物理就不说了。
国外对大数据在其他领域滥用已经有了很多批评,我总结一下主要:
1,无意义的显著性:没有理论的大数据是皮毛,只看到显著相关性,但不经检验,没有理论,这样的相关是没有意义的,或许是虚假。关键是:大数据的data point太多,在计算上找到两个矢量的显著关系极其容易,但正是因为数据量大,控制虚假关系反而更难,这是一个两难。我有一篇文章投出去,匿名评审说:样本很大,当然能找到显著相关,但是看不出意义。
2,采样方法问题:统计学家方凯撒总结了一个现象,谷歌、facebook等网络收集的数据,往往不具有同质性,是在不同的时间用不同的资源收集,随后把整个数据合并起来,结果大数据内部许多部分的数据根本不是用同样的方法收集的,统计抽样的基本假设都被推翻了。而且网络数据和线下数据的内容不一致,比如华尔街邮报的电子版和纸版就不一样,而且用户可以自定义内容。
3,机器语言不稳定:谷歌最开始用关键字预测感冒流行地区,开始说比疾控中心预测的还准,但后来越来越不准。有人认为这是谷歌的搜索算法在不停地改进,所以自动收集数据不稳定了。另外机器语言一旦被误导会越错越离谱,比如谷歌翻译是根据真实的文章总结的,但是有些网络的“真实”翻译其实是谷歌翻的,于是谷歌会把自己的翻译基于这些 “真实”文章上。
以上归根结底是人和机器的矛盾:数据必须让人用理论来指导、收集,否则会出现谬误。这些都是可以避免或改进的,但这些原因足以让大数据在短期之内难以在社会科学领域立足。除此之外,我自己有一个想法,基于一个假设,认为大数据是不可能在人类行为领域立足的,研究文本或死物的历史学、语言学或许可以,但是社会学、犯罪学、人类学这三个恐怕很难。
学抽样的都明白,只要确定了图1中想要的准确度 Z(a/2)^2,方差S,回答率r,基本就可以求出从一个人群中应该抽多少个样本才能有代表性,而人群总量N的影响最后就不大了。在95%置信区间的情况下,一个小镇4000人,一个城市十万人,从小镇抽360人可以达到代表性,从那个城市抽390人照样可以有代表性,不可能因为后者多了几百倍就要多抽几百倍的人。所以大数据首先就没有必要了,在满足准确性的时候,小样本和大数据的效果没有区别;而不满足准确性的时候,大数据的误差只会更大。
这只是最基本的情况,实际抽样中往往需要分层,二龙湖有十块苞米地,有些面积大有些小,有些里面有非法性交易,要找那块苞米地里有性交易,就得把十块苞米地分成两类:离人烟近的,离人烟远的,赋予后者的抽样概率要大。这是所谓分层抽样,现实中,几乎所有大规模抽样都是分层抽样的变种。
分层抽样的情况下,后期统计运算都必须一个权重w,如图2,每层人数M和n都暂时不重要,权重是和phi成反比的:phi是该层被选择的概率。一个分层的权重高,在分析中就不可忽视。大数据的问题是它只能收集到权重低的数据:
我们知道帕累托分布,应用很广,从小姐接客分布到富豪财产分布都可以用帕累托分布表示。另一种类似power distribution的Zipf曲线,P(r)=1/(r*Ln(R)),用来表示重要性和出现频率:语言学中,一个词日常使用频率与它的排名成反比,chinkafir这个词排第10000,它的出现概率就大概是1/10000。由于这个分布的广泛性,我有一个基于权重的假设:因为抽样概率越低的分层,的权重越高;所以越难被抽样的人群,的统计重要性越高。现实中,最容易研究的对象往往最无聊,心理学经常上课找大学生做实验,所以现在以大学生为样本的文章很难发表了;而谁要在二龙湖跟浩哥混几天,做出来的研究就算不很严密也依然重要。
这点才是我说大数据的第二个重要弱点,数据越大越不重要。一个人收集了一堆权重接近0的中产阶级对暴力犯罪的态度,而另一人在Cicero和Latin Kings混了两个月,你觉得谁的结论重要?不是说前者没有意义,普通人群在分析时是必要的,但大数据基本只能接触到一些数据,没有抽样技术的话永远不具有代表性。就跟安利一样,产品或许不错,但是推销方式往往太傻逼,想取代传统还需努力。
来源:网络大数据
摘自:http://www.shcpda.com/xingyezixun/782.html
- 解析:大数据的滥用及弱点
- 科学研究与大数据概念的滥用
- 大数据、云及解析
- 散户需要克服的十大弱点
- Objective-C 弱类型的大弱点
- CSS Reset方法及它的滥用
- 大数据时代的解析
- 解析Web应用服务弱点
- 《人性的弱点》第一章 待人接物的三大原则:读后感
- 受人性弱点影响的五大暴利行业
- Clueful:监控你手机中滥用数据的应用
- JMeter 弱点及解决方案
- 网易闪电邮的安全弱点及密码找回
- DOM4J解析大数据的方案
- 资深人士对大数据的解析
- 大数据的大价值:大数据五大成功案例深度解析
- SINGLETON的滥用
- 技术的滥用
- zookeeper学习记录-09 Zookeeper系统模型
- 十进制转为二进制
- 数字图像处理成长之路15:前景提取(最大似然估计EM算法与高斯混合模型)
- JavaScript权威指南 第一章 代码总结
- NOIP 模拟题 排列
- 解析:大数据的滥用及弱点
- Java内存管理:深入Java内存区域
- html元素&属性的总结
- libvirt的log在/var/log中
- 通过 .gitlab-ci.yml配置任务-官方配置文件翻译
- 模拟申请账户,两次密码相同,用户名大于6位,密码不能为空判断,(这是一个布局框架,没有里面的运行代码)
- 流式输入/输出原理
- ubuntu14.04 server python3 安装matplotlib失败及解决方法
- 收集的机器学习面试问题