课程学习(1)

来源:互联网 发布:c语言常用算法 编辑:程序博客网 时间:2024/06/13 17:57

分布式类型:
这里写图片描述

CAP定理:
这里写图片描述

分布式文件系统:

Google File System和HDFS(与hadoop捆绑在一起)
HDFS/GFS系统架构:
这里写图片描述

这里写图片描述

大文件切分成定长的数据块(默认为64MB大小的数据块)

这里写图片描述

HDFS/GFS小结:
•分布式文件系统
•很好的顺序读性能
为大块数据的顺序读优化
•不支持并行的写操作:不需要distributed transaction
•支持并行的append

分布式数据库:

Key‐Value Store的三个系统:
数据形式为 [key, value],支持Get/Put操作

 Dynamo: 由Amazon公司研发
 Bigtable / HBase: Bigtable起源于Google公司,Hbase是开源实现
 Cassandra:由Facebook研发,后成为Apache开源项目

Bigtable / Hbase小结:
•Key包含了row key, column key的结构
•除了Get/Put,还提供Scan(范围扫描操作)
按照row key有序存储
•底层存储采用了分布式文件系统
•Master与Tablet Server
•Tablet Server的内部结构:MemTable, SSTable, 和log

zookeeper
分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

0 0
原创粉丝点击