闲谈关于大数据的概念和基本技术的通俗的解释

    怀 着对大数据的憧憬，哥毅然决然到了吴超老师主办的超人学院进行大数据技术的深造。（好，下面插播一条广告www.crxy.cn）

 

 

有人说大数据技术是第四次技术革命，这个说法其实不为过。

很多人只是听过大数据这个词或者是简单知道它是什么，那么它是什么呢，在这里哥就通俗点来说一下个人对大数据的理解。

大数据，很明显从字面上理解就是大量的数据，海量的数据。大，意思就是数据的量级很大，不上TB都不好意思说是大数据。数据，狭义上理解就是12345那么些数据，毕竟计算机底层是二进制来存的，那么在大数据领域，数据就不仅仅包括数字这些，它可以是所有格式的东西，比如日志，音频视频，文件等等。

所以，大数据从字面上理解就是海量的数据，技术上它包括这些海量数据的采集，过滤，清洗，存储，处理，查看等等部分，每一个部分包括一些大数据的相关技术框架来支持。

举个例子，淘宝双十一的总交易额的显示，后面就是大数据技术的支持，全国那么多淘宝用户的交易记录汇聚到一起，数据量很大，而且要做到实时的展现，就需要强有力的大数据技术来处理了。

数据量一大，那么得找地方来存，一个服务器硬盘可以挂多少，肯定满足不了这么大的数据量存储啊，所以，分布式的存储系统应运而生，那就是HDFS分布式文件系统。简单的说，就是把这么大的数据分开存在甚至几百甚至几千台服务器上，那么管理他们的系统就是HDFS文件系统，也是大数据技术的最基本的组件。

有地方存了，需要一些分布式的数据库来管理查询啊，那就有了hbase等，还需要一些组件来计算分析这些数据啊，mapreduce是最基本的计算框架，其他的计算框架Spark和Storm可以完成实时的处理，其中HDFS和MapReduce组成了Hadoop1.

一言以蔽之，围绕大数据的发展，新兴了大数据技术，大数据的互联网公司，以及大数据技术的相关培训公司，超人学院就是其中一个全方位的大数据培训公司，因为我本身以前是做培训的，我是不是在打广告。。。

总之，一切都是数据。我们的历史，是不是都是大量的数据保存下来的，现在我们也是大数据的生活，天天有没有接到骚扰电话还知道你姓什么，你查话费什么的从几亿人的数据中查到你的信息，大数据生活。未来，大数据将更深刻的渗透到生活中。