Yahoo! 的数据仓库: 世界上最大最忙
来源:互联网 发布:知字代表什么生肖 编辑:程序博客网 时间:2024/05/11 00:54
网址: http://www.dbanotes.net/database/yahoo_dw.html
微软对 Yahoo! 的收购持久战可能让很多人都新闻疲劳了。但今天看到的这个关于 Yahoo! 的技术新闻还是值得看一下的:Size matters: Yahoo claims 2-petabyte database is world's biggest, busiest 。Yahoo! 的 VP Waqar Hasan 在文中披露 Yahoo!的数据仓库当前容量为 2PB。用于分析每月5亿的用户访问行为,每天处理 240 亿次的事件,号称世界上单个最大、最忙的数据库。
尽管有的数据仓库容量要比雅虎的大。但那些 DB 或是存储非关系性数据,或是存储的压缩后的原始数据,不能进行即时分析,雅虎之前的也有数百 T 这样的数据。眼下 Yahoo!数据仓库存储的是结构化、可分析的数据。预计下一年可能膨胀到数十 PB 。eBay 号称数据总量有 6PB , 不过根据一些消息来看,单个最大的 DB 只有 1.4 PB。
Yahoo! 在 2005 年买了一家叫 Mahat Technologies 的初创公司(就是 Waqar Hasan 操刀的),这家公司以 PostgreSQL 数据库为基础,开发了一个新型 DB,其特点是 基于列 的而不是 基于行 的模式。不难理解,这样数据写入的速度会慢下来,但是读取的速度会快很多【去年的侠客行上,雷鸣在演讲的时候讲过他在百度的时候做的一个优化的例子。和这个思想非常相似,所以当时我说对我"有启发"】。Yahoo! 买了之后,对该产品进行了持续性的改进(内部代号: ELCARO ?) ,比如压缩,并行处理能力加强、优化查询等等特性的添加改进。而针对使用者的接口仍是 PostgreSQL 。这应该也算 PostgreSQL 在顶级企业又一个成功案例。
这么大的数据库并没有采用传统的 SMP 架构构建,而是采用普通 PC 作集群(用了不到 1000 台) 。很明显这是 Share Nothing 而不是 Share Storage 的 DB 集群。通过上述独特的设计方式,能够对此海量数据进行有效的分析,这是个不小的技术革新,也是与 Google Map Reduce 完全不同的计算模式。
让人感慨的是 关于世界上的超大数据库 一文中罗列的数据,现在看起来已经并不惊人了。以前总说信息爆炸,这个时代刚刚来临。
- Yahoo! 的数据仓库: 世界上最大最忙
- Yahoo! 的数据仓库:世界上最大最忙
- Yahoo! 的数据仓库: 世界上最大最忙
- Yahoo! 的数据仓库: 世界上最大最忙
- oracle目前世界上最大、最热门的数据库
- 世界上最大的赌局?!!
- 世界上最大的 SOA
- 谁是世界上最大的雇主?
- 世界上最大的联合体GE
- Yahoo数据仓库架构简介
- Yahoo数据仓库架构简介
- 世界上最开心的事
- 世界上最狂的PC
- 世界上最遥远的距离
- 世界上最美的路
- 世界上最伟大的推销员
- 世界上最美丽的路...
- 世界上最美丽的英文
- 选择综合症中 2008年4月25日 12时
- 简单实用的DataSet更新数据库的类+总结(c#)
- [计算几何]计算几何_总结及资料
- 侠客行会议归来
- 关于iBatis的缓存使用
- Yahoo! 的数据仓库: 世界上最大最忙
- VC解析XML--使用CMarkup类解析XML
- Linux 的 Out-of-Memory (OOM) Killer
- 悼念地震死难者:使整个网页变黑白色(灰色)的特效代码
- practically
- LinkedIn 架构与开发过程
- 多表查询存储过程,任意排序
- 家里地震了。。。2008年5月13日 12时52分12秒
- 开始工作了