Google的物理构造

来源:互联网 发布:留学论坛 知乎 编辑:程序博客网 时间:2024/04/29 07:54

来源:老管网络日志

Google是一个位于美国的万维网搜索引擎,是网上最流行的搜索引擎之一,它是由Larry Page和Sergey Brin共同创建的。现在,他们正分别担任Google公司的产品总裁和技术总裁。Google公司的搜索引擎网站Google和其客户网站如美国在线那里每天接受2亿次搜索请求。其公司总部位于美国加州圣克拉拉县的山景城(被称为“Googleplex”)。

除了搜索网页之外,Google也提供对图象,存在于Usenet上的新闻讨论组,新闻和在线销售商品的搜索服务。截至2005年2月,Google数据库已经索引了80.5亿个网页,11亿8千万图象及8亿4千5百万新闻组帖子-总共为95亿。它也缓存了编入索引中的绝大多数网页的内容。

 

搜索引擎物理构造
 
Google 周围的万维网Google使用位于世界各地的GNU/Linux服务器场计算机回答搜索要求并索引网页。服务器场被以shared nothing architecture结构建造.索引是由程序“Googlebot”执行的,它会定期地请求访问已知的网页新拷贝。页面更新愈快,Googlebot访问的也愈多。再通过在这些已知网页上的链接来发现新页面,并加入到数据库。索引数据库和网页缓存大小是以兆兆字节(terabyte)来衡量的。

Google使用的这些机器的精确大小和位于何处至今未知,Google官方刻意含糊其词。在John Hennessy和David A. Patterson所着的《计算机建筑:走进大数》中,推测Google的服务器场中群集计算机群形成的“搜寻场”在2000年大约应该有6000个処理器,12000个普通IDE硬盘(即每个机器2个硬盘1个处理器),他们位于四个地方:二个在 硅谷和二个在 维吉尼亚。每个都以OC 48的线路(2488 Mbit/s,参见宽带)连接着因特网并且有一个OC 12(622 Mbit/s)线路连接着其他3个Google分站点。这些连接使用思科12000网关,用二个Foundry Networks BigIron 8000的以太网交换器分流成4 x 1 Gbit/s的线路连接到64个服务器夹,里面前後各是40台电脑和1台惠普以太网交换机,所以一个架子共有80个机器和2个惠普交换机。

Google在2004年4月发布的IPO S-1表单後,大财政公司的英特网开发单位副总裁Tristan Louis估计了现在的服务器场包含下列各项:

719个服务器架
63,272台机器
126,544个处理器
253,088 GHz的处理能力
126,544 GB内存
5,062 TB的硬盘空间
依照这一估计,Google服务器场组成了全球最强大的超级计算机,每秒运行速度至少三倍于地球模拟器。

顺便说一句,这可得用不少电啊!

延伸阅读:
1、How many Google machines
2、[pdf] Google Linux Cluster的系统结构分析