Sector/Sphere: 一个类hadoop的系统
来源:互联网 发布:dbc2000怎么看数据 编辑:程序博客网 时间:2024/05/27 14:14
转自http://hi.baidu.com/ltguo/blog/item/a656a03ece6d6df1828b1396.html
http://sector.sourceforge.net/
这是2006年启动的一个开源项目(C++),包括Sector和Sphere两个子系统,分别对应到Hadoop的HDFS和MapReduce两个子系统,对外的接口也比较类似。不过,该系统在设计之初就考虑了跨多个数据中心的数据处理需求,因此在slave/master之间的安全以及client和系统之间的数据传输安全方面都提供了安全机制。这一点是hadoop没有考虑的。
粗略对比了Sphere和MapReduce之间的差别,可能不全面:
(1)slave和master之间提供数据保密机制(可选择不加密数据),hadoop目前没有;
(2)在使用系统时,client直接将数据传输到slave节点。 hadoop的机制与其类似;
(3)Sector中数据传输采用UDT协议,这是一个增加了流控的UDP协议,传输效率比目前hadoop采用的TCP高;目前Hadoop MR中采用HTTP,效率更低;
(4)在Sphere中UDF(类似于MapTask)的输出结果是通过push的方式发送出去的,而Hadoop采用pull的方式。这种方式孰优孰劣比较难断定,因为push方式有可靠性的问题;
(5)在Sphere中不采用按照blocksize和单独的文件来确定任务数。
(6)在Sphere中,Map任务有错误恢复机制,但Reduce不支持错误恢复,即如果Reduce Task 失败了,整个作业就失败了。
从Sector/Sphere网站上发布的terasort结果来看,其性能比hadoop高出不少(http://sector.sourceforge.net/benchmark.html):
64节点(主节点:Dell 1950, dual dual-core Xeon 3.0GHz, 16GB RAM / 子节点:Dell 1435s, single dual core AMD Opteron 2.0GHz, 4GB RAM, and 1TB single disk):
Sector/Sphere为1361妙,Hadoop(1副本)为 2617秒,而在我们的labs上测试的结果是......秒。
he performance value listed in this page was achieved using the Open Cloud Testbed.Currently the testbed consists of 4 racks. Each rack has 32 nodes,including 1 NFS server, 1 head node, and 30 compute/slave nodes. Thehead node is a Dell 1950, dual dual-core Xeon 3.0GHz, 16GB RAM. Thecompute nodes are Dell 1435s, single dual core AMD Opteron 2.0GHz, 4GBRAM, and 1TB single disk. The 4 racks are located in JHU (Baltimore),StarLight (Chicago), UIC (Chicago), and Calit2(San Diego). Theinter-rack bandwidth is 10GE, supported by CiscoWave deployed overNational Lambda Rail.
Sphere
Hadoop (3 replicas)
Hadoop (1 replica)
UIC
1265
2889
2252
UIC + StarLight
1361
2896
2617
UIC + StarLight + Calit2
1430
4341
3069
UIC + StarLight + Calit2 + JHU
1526
6675
3702
- Sector/Sphere: 一个类hadoop的系统
- Hadoop跟Sector/Sphere对比
- Sector/Sphere 比hadoop快2-4倍
- Sector/Sphere安装配置
- Sphere/sector 深度剖析之一
- sector/sphere 开源代码----存储
- Sphere/sector 深度剖析之二
- 一个简单的boot sector程序
- Lua的系统学习(杂)_使用uLua在Unity中创建一个Sphere小球
- 一个sphere mapping的简单应用实例
- sector/sphere:设计和实现高水平数据云
- 一个Boot Sector
- 为什么一个磁盘的sector是512个字节
- OpenGL实现的一个wire-sphere的小程序
- 在Blender中创建一个适用全景播放的sphere
- python生成一个sector数据
- Sector/Sphere:High Performance Distributed File System and Parallel Data Processing Engine
- Ubuntu 10.04下安装和配置云计算平台Sector/Sphere环境
- Misc
- 两个小时精通Android开发之数据持久存储篇
- Windows XP 系统 使用笔记一
- 这个是java开发者的好网站
- 启动Oracle
- Sector/Sphere: 一个类hadoop的系统
- 《变革中的思索》连载六:IT=IP+IQ
- JAX-WS Web 服务入门指南
- eclipse快捷键失效问题解决
- jQuery 1.4发布
- Eclipse 常用快捷键
- 百川异源 皆归于海
- 从多层面来阐述网页设计的专业性
- 数组名与数组名地址的区别