Declustered RAID

来源:互联网 发布:网络诈骗怎么报警呢 编辑:程序博客网 时间:2024/06/06 09:17

  • RAID 相关的可靠性计算
  • BigTable
      • 含义
  • MapReduce

RAID 相关的可靠性计算

传统的RAID进行修复的时候,需要大量的IO带宽,内存带宽以及CPU时间。它的表现如下图所示:
这里写图片描述

这个时候,还有没有使用的带宽,这是一种浪费。将磁盘进行划分,可以变成:
这里写图片描述

当然,可以再进一步对空闲的磁盘进行划分。
这里写图片描述

这种操作可以将负载分配到不同的读写器上,这种decluster的操作在GFS中也有。

BigTable

含义

BigTable Cluster 是一系列的进程在BigTable软件上运行,每个集群服务一系列的tables。在BigTable中的table是一个三维的映射:
(row:string,column:string,time:int64)-> string

通信:每次只能访问一行,行操作是串行的,有重新执行log的操作来确保稳定性。

对于BigTable的理解:

http://blog.csdn.net/opennaive/article/details/7532589

MapReduce

Map->filter + hash sort + reduce->combine

Chubby的参考: Chubby是一个lock service,通过这个lock service可以解决分布式中的一致性问题,而这个lock service的实现是一个分布式的文件系统。

http://blog.csdn.net/historyasamirror/article/details/3870168

原创粉丝点击