大数据：大规模文件系统及map-reduce

大数据：大规模文件系统及map-reduce 

下面是我看《大数据—互联网大规模数据挖掘与分布式处理》一书第二章的总结。

1 分布式文件系统：distributed file system

文件多副本存储，计算任务分多个，容错。

文件非常大（TB），文件极少更新

2 Map-reduce：

a 多个map任务，每个任务输入是DFS的一个或者多个文件块。

b 主控制器 从每个map任务中收集一系列键值对

c reduce任务每次作用于一个键

经典任务：统计多个文本中单词的频率。

节点失效时要有相应的容错组织

map-reduce应用：矩阵向量乘法，关系代数运算（选择，投影，并交差，自然连接，分组聚合）

map-reduce扩展：Pregel系统（递归失效解决方案）

Hadoop：HDFS与map-reduce结合实现

工作流系统：map-reduce一般化为支持任意无环函数集系统，每个函数都可实例化为任意数目的任务，每个任务在一部分数据上执行对应函数

递归工作流：递归关系函数集，系统不保证节点失效，可在计算工作过程中设立检查点

通信开销模型：map-reduce小任务开销简单，主要开销在于数据从创建到使用的开销。

多路链接，星形连接。