分享:五个最给力的Hadoop项目

来源:互联网 发布:程小姐的甜品店 淘宝 编辑:程序博客网 时间:2024/05/16 09:07

SD Times高级编辑Alex Handy日前列出了当前使用Hadoop的项目中他认为最成功的五个。

  • 1.Cascading:Cascading是基于Hadoop集群之上的数据处理API。它通过实现了丰富的功能化API,使你不需要接触MapReduce任务就能使用分布式计算能力,其核心概念是基于管道和流的数据处理。
  • 2.Mahout:Mahout是一个基于Hadoop实现各种机器学习与数据挖掘算法库。被用来提供推荐服务。
  • 3.Hive:Hive由Facebook出品,它为Hadoop提供了一种类似于SQL的操作接口。
  • 4.Avro:Avro是一个基于二进制数据传输高性能的中间件。Avro通过将数据进行序列化,以使得大批量数据交互过程更方便。
  • 5.Storm:Storm由BackType Technology出口,其口号是“实时的Hadoop系统”。

原创粉丝点击