Hadoop跟Sector/Sphere对比
来源:互联网 发布:未来教育二级c语言 编辑:程序博客网 时间:2024/05/31 15:19
转自http://blog.c114.net/html/71/482871-61386.html
实现语言:
hadoop: java
sector: c 和c++混合java
从实现语言看sector的速度应该会更好,java对于大数据计算来讲,内存是个灾难。
网络传输:
hadoop自己用java实现,当然最底层用的是linux的最新epoll事件驱动方式,TCP。
Sector/Sphere用的是UDT,开源的UDP传输代码。
单从速度上看UDT应该更有优势。
其实本人看好将来用SCTP实现的可靠报文传输。
文件系统:
都支持多种文件系统,都有实现自己的文件系统,最底层都用linux文件系统。同一个文件都可以有多个拷贝,所有都可以容错。
hadoop对于文件会分块存储。
sector不对文件分块。
单从文件处理来说,很难比较优劣,但是Hadoop在上面加入数据库层之后,数据库的大存储文件分块来讲会更有优势。
组网方式:
都是几个主节点,加上多个计算节点。都是客户端跟计算节点直接传输文件。都有操作shell。负载都可以自动平衡。
没有优劣。
安全:
都有安全考虑,但是sector考虑更全面。
map/reduce实现:
hadoop上面加入自己的map.reduce代码更简单。secotr用所谓UDF实现map、reduce,对于自己实现来说门槛更高。
另外hadoop提供了map实现时的默认比较类,排序类,分区类。secotr则都要自己实现,当然这样子就更灵活。
都有系统监控界面,hadoop加入jetty来实现web式监控,符合当前潮流,sector还是用文本方式监控,占用资源更少,但是不美观。
- Hadoop跟Sector/Sphere对比
- Sector/Sphere: 一个类hadoop的系统
- Sector/Sphere 比hadoop快2-4倍
- Sector/Sphere安装配置
- Sphere/sector 深度剖析之一
- sector/sphere 开源代码----存储
- Sphere/sector 深度剖析之二
- sector/sphere:设计和实现高水平数据云
- Sector/Sphere:High Performance Distributed File System and Parallel Data Processing Engine
- Ubuntu 10.04下安装和配置云计算平台Sector/Sphere环境
- Sphere
- EL跟OGNL对比
- EL跟OGNL对比
- JAVA跟PHP对比
- 包围盒性能对比测试AABB vs OBB vs Sphere
- hadoop版本的对比
- hadoop版本的对比
- hadoop 版本功能对比
- C#调用API
- Svn 学习
- 【Bing Map学习系列】(7)——如何使用Bing Maps Silverlight Control汇总
- J2EE程序的性能优化技巧 【转】
- 张亚勤新作《变革中的思索》谈高科技人才管理
- Hadoop跟Sector/Sphere对比
- 程序精简第一步之百鸡问题(减少循环提高运行速度)
- Spring和Struts 2整合
- 必须掌握的八个【cmd 命令行】
- Oracle 9.2下的“System.Exception: System.Data.OracleClient requires Oracle client software version 8.1.7 or greater”
- 直接附加数据库的批处理文件 和 执行sql 脚本的批处理文件的写法
- javascript 提交加密
- test
- 上山打老虎个人论坛源码