Hadoop生态系统(Hadoop Ecosystem)

来源:互联网 发布:古天乐和宣萱 知乎 编辑:程序博客网 时间:2024/05/07 12:22

Hadoop


内部:MapReduce分布式编程处理模型

HDFS分布式文件系统

Zookeeper分布式集群协商服务软件

HBASE类似BigTable,基于列存储非结构化数据

Hive数据仓库

Pig创建mapreduce程序的高级脚本语言

Flumecloudera提供日志手机系统

Sqoop与关系数据库转移工具HueCloudera提供用户管理界面 

Chukwa数据收集系统 Avro数据序列化系统

AvatarNode单namenode的备份解决方案

Cassandra分布式NoSQL数据库Hama基于块同步并行(Bulk sync parall)的科学计算、图形处理等复杂计算工具

Mashout机器学习

周边:Ganglia监控Nagios告警Scribe日志收集


http://hadoop.apache.org/

Facebook雅虎




原创粉丝点击