MySpace Mapreduce Framework:Qizmt
来源:互联网 发布:mac os系统官网下载 编辑:程序博客网 时间:2024/06/17 01:35
MySpace真是微软技术的忠实拥护者,这么多年不离不弃,MySpace架构演变的过程也影响了很多采用.net架构的网站,这一次他们开源的是基于.net的MapReduce框架.
是的,C#编写MapReduce逻辑,我Win7的机器就可以跑起来;很快就搞定了,中间出了几个小状况,记录一下:
1. 安装的时候有一个需要填写用户名密码的地方,这里一定要填写机器名或者域账号 比如: test-pc\administrator
2. 安装完成之后qizmt已经注册到环境变量,可以在命令行环境中调用
3. 第一次使用需要执行format http://code.google.com/p/qizmt/wiki/MySpaceQizmtSingleMachineQuickStart
4. Qizmt会自己维护一套文件系统 DFS 你可以在安装目录查看DFS.XML查看文件系统的元数据
5. 把文件拷贝到DFS系统中,可以使用:qizmt put \\admin-PC\d$\data\some_file.xml dfs://some_file.xml 注意这里使用的也是网络路径
6.把文件从DFS拷贝出来,使用: qizmt get dfs://reslut_output.txt \\admin-PC\d$\data\all_step_2.csv
7.qizmt edit xx.xml 可以修改MapReduce的代码,甚至是调试
8.MapReduce代码支持.net Framework框架的其它类库,直接全namespace引用就可以,不过qizmt的编辑器没有提供对这些类库的智能提示
9.MapReduce代码支持使用本地路径,比如"D:\data.csv"
MySpace Qizmt IDE/Debugger
MapReduce的处理思路并没有太复杂,可以看下面的演示代码:
using System;using System.Collections.Generic;using System.Linq;using System.Threading.Tasks;namespace Kockerbeck.MapReduce{ /// <summary> /// Very Simple MapReduce implementation in C# /// </summary> /// <remarks> /// Thanks to Stephan Brenner. Refactored for C# 4.0 /// </remarks> public class MapReduce { public static int NumberOfCores = 4; public static Dictionary<T3, List<T4>> Execute<T1, T2, T3, T4>(Func<T1, T2, List<KeyValuePair<T3, T4>>> mapFunction, Func<T3, List<T4>, List<T4>> reduceFunction, Dictionary<T1, T2> input) { var result = new Dictionary<T3, List<T4>>(); var maps = new Dictionary<T3, List<T4>>(); input.DivvyUp(NumberOfCores, l => l.ForEach(kv => maps.Add(mapFunction(kv.Key, kv.Value), i => i.Key, i => i.Value))); maps.DivvyUp(NumberOfCores, m => m.ForEach(map => result.Add(reduceFunction(map.Key, map.Value), i => map.Key, i => i))); return result; } }}
- MySpace Mapreduce Framework:Qizmt
- MySpace Mapreduce Framework:Qizmt
- MySpace:开源数据处理Qizmt
- NET版本的MapReduce--Qizmt
- NET版本的MapReduce--Qizmt
- Hadoop的mapreduce.framework.name属性原理
- Top-K in MapReduce Haddop Framework
- Hacking MySpace
- Hacking MySpace
- Qizmt 单机及分布式部署注意事项
- Tenzing A SQL Implemention On The MapReduce Framework(译)
- YARN Framework(MapReduce 2.0 in Apache Hadoop 0.23)
- Mars: A MapReduce Framework on Graphics Processors Dedug调试
- configuration for mapreduce.framework.name and the correspond server addresses.
- druid.io 集成 hadoop 问题解决 /hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework
- 从myspace转移完毕
- 感受了一下myspace
- MySpace成功故事揭密
- I2C协议
- DP笔记
- ORA-01653: unable to extend table SYS.AUD$ by 128 in tablespace SYSTEM
- 我遇到过的vs、c++等问题的总结
- SpringDataForMongoDB
- MySpace Mapreduce Framework:Qizmt
- 微型计算机及其接口技术
- log4j.properties配置详解
- linux下qt编译环境及其安装
- 整数划分问题
- 滑动窗口
- 第八周项目3-要不要加油
- 外网IP通过路由器映射内网某台地址IP
- vs2012 msdn 下载地址