Storm, Spark, Hadoop三个大数据处理工具谁将成为主流

来源:互联网 发布:java项目中的角色 编辑:程序博客网 时间:2024/06/03 21:06

原文:http://bbs.e-works.net.cn/thread-188422-1-1.html       

大数据现在是业内炙手可热的话题,随着技术的发展,大数据存储技术已经不在是难点,但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点,目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。

       Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点。

      Storm由java和clojure写成,storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以storm的速度相比较hadoop非常快。

      hadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中,所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。

       本期我们将围绕以下几个话题讨论:

       1、大数据核心是什么?
       2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
       3、你觉得今年大数据的发展趋势如何?
0 1
原创粉丝点击