Druid:一个用于大数据实时处理的开源分布式系统
来源:互联网 发布:淘宝量子恒道统计 编辑:程序博客网 时间:2024/06/05 01:08
Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时,Druid仍能够保持100%正常运行。创建Druid的最初意图主要是为了解决查询延迟问题,当时试图使用Hadoop来实现交互式查询分析,但是很难满足实时分析的需要。而Druid提供了以交互方式访问数据的能力,并权衡了查询的灵活性和性能而采取了特殊的存储格式。
Druid功能介于PowerDrill和Dremel之间,它几乎实现了Dremel的所有功能,并且从PowerDrill吸收一些有趣的数据格式。Druid允许以类似Dremel和PowerDrill的方式进行单表查询,同时还增加了一些新特性,如为局部嵌套数据结构提供列式存储格式、为快速过滤做索引、实时摄取和查询、高容错的分布式体系架构等。从官方得知,Druid的具有以下主要特征:
- 为分析而设计——Druid是为OLAP工作流的探索性分析而构建,它支持各种过滤、聚合和查询等类;
- 快速的交互式查询——Druid的低延迟数据摄取架构允许事件在它们创建后毫秒内可被查询到;
- 高可用性——Druid的数据在系统更新时依然可用,规模的扩大和缩小都不会造成数据丢失;
- 可扩展——Druid已实现每天能够处理数十亿事件和TB级数据。
Druid应用最多的是类似于广告分析创业公司Metamarkets中的应用场景,如广告分析、互联网广告系统监控以及网络监控等。当业务中出现以下情况时,Druid是一个很好的技术方案选择:
- 需要交互式聚合和快速探究大量数据时;
- 需要实时查询分析时;
- 具有大量数据时,如每天数亿事件的新增、每天数10T数据的增加;
- 对数据尤其是大数据进行实时分析时;
- 需要一个高可用、高容错、高性能数据库时。
一个Druid集群有各种类型的节点(Node)组成,每个节点都可以很好的处理一些的事情,这些节点包括对非实时数据进行处理存储和查询的Historical节点、实时摄取数据、监听输入数据流的Realtime节、监控Historical节点的Coordinator节点、接收来自外部客户端的查询和将查询转发到Realtime和Historical节点的Broker节点、负责索引服务的Indexer节点。
查询操作中数据流和各个节点的关系如下图所示:
如下图是Druid集群的管理层架构,该图展示了相关节点和集群管理所依赖的其他组件(如负责服务发现的ZooKeeper集群)的关系:
Druid已基于Apache License 2.0协议开源,代码托管在GitHub,其当前最新稳定版本是0.7.1.1。当前,Druid已有63个代码贡献者和将近2000个关注。Druid的主要贡献者包括广告分析创业公司Metamarkets、电影流媒体网站Netflix、Yahoo等公司。Druid官方还对Druid同Shark、Vertica、Cassandra、Hadoop、Spark、Elasticsearch等在容错能力、灵活性、查询性能等方便进行了对比说明。更多关于Druid的信息,大家还可以参考官方提供的入门教程、白皮书、设计文档等。
- Druid:一个用于大数据实时处理的开源分布式系统
- Druid:一个用于大数据实时处理的开源分布式系统之是什么
- Druid:一个用于大数据实时处理的开源分布式系统之怎么用
- Druid:一个用于大数据实时处理的开源分布式系统
- Druid:一个用于大数据实时处理的开源分布式系统
- Druid:一个用于大数据实时处理的开源分布式系统
- Druid :大数据实时处理的开源分布式系统(1)
- Druid大数据实时处理的开源分布式系统——介绍
- Druid大数据实时处理的开源分布式系统——Historical Node
- Druid大数据实时处理的开源分布式系统——Broker
- Druid大数据实时处理的开源分布式系统——Coordinator
- Mysql实现监控数据统计分析:Druid开源分布式系统与阿里巴巴的Druid数据库连接池
- Druid 一次海量数据实时处理的实践
- Druid创始人Eric Tschetter详解开源实时大数据分析系统Druid
- Druid创始人Eric Tschetter详解开源实时大数据分析系统Druid
- (转载)Druid创始人Eric Tschetter详解开源实时大数据分析系统Druid
- 大数据的实时处理STORM简介
- 基于Spark的大数据实时处理开课
- 在前后端分离的项目中,后台使用shiro框架时,怎样使用它的会话管理系统(session),从而实现权限控制
- 转:Windows文件关联和VC实现
- Loaders 的使用,结合Fragments
- Skill: TightVNC Server: 重置密码
- 【线程】--基础知识
- Druid:一个用于大数据实时处理的开源分布式系统
- 交通银行闪退问题
- ajax post 提交中文java后台获取参数出现乱码解决方法
- linux日志管理
- 毕业生必须知道:干部身份、三方协议、派遣证、人事代理、户口迁移 、编制、工龄、签约、档案
- Android中Parcelable接口用法
- Max Sum
- 只区分ie(不分版本)和其他浏览器
- Trafodion timestamp(0)与timestamp(6)