当大数据真的变得更好时

来源:互联网 发布:js给class添加样式 编辑:程序博客网 时间:2024/04/30 22:14
以往的经验告诉我们,充分发挥扩展优势会带来更大的分析价值。但是大数据并不是一把万能的锤子,而每一个问题也不是一个靠锤子就可以解决的钉子。

许多人认为大数据意味着越大越好。人们也常常从各种哲学视角来诠释“越大越好”这一问题。对此Ftrans飞驰传输专家将这些角度归纳为:

信仰:是指容量更大、速度更快和种类更丰富的数据总会带来更多洞察力,而这正是大数据分析的核心价值。如果我们无法发现这些洞察力,那是由于我们没有充分认真地尝试,或是我们的灵活程度还不够,或者是我们没有使用正确的工具和解决方案。

偶像:是指数据的庞大容量本身就是有其价值的,与我们是否能够从中获得特殊的洞察力无关。如果我们仅凭其所支持的特定商业应用来评估它们的效用,那么在这方面,我们是与数据科学家们当前的需求是不一致的,数据科学家们的需求是将数据不加分别地存储到数据湖中,以支持今后的探索工作。

负担:是指数据的庞大容量未必是好事或坏事,但是一个无法改变的事实是,它们会对现有数据库的存储和处理能力带来极大的压力。如果我们不能跟上这些新数据增长的步伐,那么核心的业务需求将被迫转向新型数据库。

机遇:在我看来,这是一个处理大数据的正确解决方案。随着数据规模上升至新的层次,流动的速度更快,数据的来源和格式不断增长,这一解决方案将重点放在了更为高效地获取前所未有的洞察力方面。它没将大数据作为一种信仰或偶像,因为它知道即便较小的数据规模也能够持续获得许多不同的洞察力。它也没有将数据的规模视为一种负担,而是视为一种挑战,这种挑战能够通过新的数据库平台、工具和实践加以有效应对。

Ftrans飞驰传输专家表示,大数据中“大”这一核心价值源自于能否用增加的内容揭示出所增加的背景环境。在你分析数据以探查其完整意义时,背景环境自然是越多越好。同样的,当你尝试着在自己的问题范畴中识别出所有的变量、关系、模式以找到更好的解决方案时,内容也是越多越好。总之,越来越多的内容加上越来越多的背景环境,通常会导致数据也变得越来越多。

大数据的另一个价值在于,它们能够纠正那些小规模数据所产生的错误。曾经有观察过该问题的人说过,对于数据科学家而言,在训练集中数据偏少意味着他们更容易受到多个模型风险的影响。首先,数据规模偏小可能会导致用户忽视关键的预测性变量。同时,用户选择没有代表性的样本导致模型出现偏差的几率变大。此外,用户可能会找到一些虚假关系,如果用户拥有能够揭示实际发挥作用的基本关系的完整数据,那么他们就能够识别出这些虚假关系。
0 0
原创粉丝点击