NET版本的MapReduce--Qizmt
来源:互联网 发布:erp 云计算 编辑:程序博客网 时间:2024/06/05 15:20
原帖地址:http://blog.csdn.net/sgear/article/details/7195362
由Google提出并实现的编程模型,可利用大量机器所组成的集群处理或生成海量数据集。此外,由Yahoo!公司资助的Hadoop项目则是MapReduce的开源实现,在Facebook等大型应用中得到了广泛使用。而现在,MySpace也将其MapReduce框架Qizmt开源了,可用于在大规模Windows集群上开发或运行分布式计算程序。
MySpace Qizmt可用于各种分布式计算场景,例如:
- 数据挖掘
- 数据分析
- 媒体处理
- 内容索引
Qizmt的主要功能有:
- 使用C#快速开发MapReduce任务。
- 简单的“自己动手(Do-It-Yourself)”安装程序
- 内置集成开发环境/调试器
- 自动将堆分配标为红色
- 为MapReduce任务的快速开发提供自动完成功能
- 在目标集群中对MapReduce任务进行单步调试
- 可在集群中的任意机器上:
- 编辑任务
- 调试任务
- 执行任务
- 管理任务
- 为MapReduce任务提供“差值交换(Delta-only exchange)”选项
- 可配置的数据冗余或机器级别的故障转移
- 可轻易为集群增加机器以提高处理能力
- 集群程序集缓存(Cluster Assembly Cache),用于将.NET dll释放为MapReduce任务
- 三种任务类型:
- MapReduce – 用于对大规模数据进行基于集合的处理
- 远程 – 用于不适合MapReduce模型的问题
- 本地:- 用于组织一系列MapReduce和远程任务
- 执行MapReduce过程中的三种数据交换方式
- 排序 – 在集群中对键/值对进行排序
- 分组 – 不将键/值对进行排序,而将它们发送到同一个归并器(reducer)中
- 散列排序 – 排序随机数据的超快方式
MySpace Qizmt项目现已发布于Google Code,支持装有.NET 3.5 SP1的Windows 2003 Server,Windows 2008 Server及Windows Vista操作系统。
0 0
- NET版本的MapReduce--Qizmt
- NET版本的MapReduce--Qizmt
- MySpace Mapreduce Framework:Qizmt
- MySpace Mapreduce Framework:Qizmt
- .NET Framework的版本
- ProtocolBuffer的.NET版本
- .net框架的版本
- 新装的hadoop2版本无法运行mapreduce的解决方法
- 单源最短路径算法的MapReduce实现(Metis版本)
- MapReduce读取Hbase中多个版本的数据,统计例子。
- MySpace:开源数据处理Qizmt
- 利用的 .NET构建的MapReduce系统的构想
- 感悟.Net的版本问题
- .NET 3.5的版本问题
- Microsoft .NET Framework 的版本
- Microsoft .NET Framework 的版本
- php版本的ajax.net
- Microsoft .NET Framework 的版本
- Java排序之Comparable接口和Comparator接口的比较和应用示例
- python机器学习之SMO算法
- 一个经典例子让你彻彻底底理解java回调机制
- 使用python抓取CSDN关注人的所有发布的文章
- JDK PATH 和 CLASSPATH环境变量的作用及其配置
- NET版本的MapReduce--Qizmt
- android源码解析 ---- camera 照相机 摄像机
- 织梦dede如何去除Power by DedeCms
- 使用 rsync 同步
- 64位Windows2008系统下IIS7和Tomcat7整合共用80端口(完整版)
- 两分钟彻底让你明白Android中onInterceptTouchEvent与onTouchEvent(图文)!
- 第七周作业——背包问题
- 老调重弹:JDBC系列 之 <JDBC层次结构和基本构成>
- 第1次实验——NPC问题(回溯算法、聚类分析)