Tera - 高性能、可伸缩的结构化数据库
来源:互联网 发布:spss数据分析教程 编辑:程序博客网 时间:2024/05/22 06:49
Overview
Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。
特性
- 全局有序
- 热点自动分片
- 数据强一致
- 多版本,自动垃圾收集
- 按列存储,支持内存表
- 动态schema
- 支持表格快照
- 高效随机读写
数据模型
Tera使用了bigtable的数据模型,可以将一张表格理解为这样一种数据结构:
map<RowKey, map<ColummnFamily:Qualifier, map<Timestamp, Value> > >
其中RowKey、ColumnFamily、Qualifier和Value是字符串,Timestamp是一个64位整形。ColumnFamliy需要建表时指定,是访问控制、版本保留等策略的基本单位。
系统架构
系统主要由Tabletserver、Master和ClientSDK三部分构成。其中Tabletserver是核心服务器,承载着所有的数据管理与访问;Master是系统的仲裁者,负责表格的创建、schema更新与负载均衡;ClientSDK包含供管理员使用的命令行工具teracli和给用户使用的SDK。 表格被按RowKey全局排序,并横向切分成多个Tablet,每个Tablet负责服务RowKey的一个区间,表格又被纵向且分为多个LocalityGroup,一个Tablet的多个Localitygroup在物理上单独存储,可以选择不同的存储介质,以优化访问效率。
系统依赖
- 使用分布式文件系统(HDFS、NFS等)持久化数据与元信息
- 使用分布式协调服务(Nexus或者zookeeper)选主与协调
- 使用Sofa-pbrpc实现跨进程通信
系统构建
sh ./build.sh
参考BUILD
使用示例
体验单机Tera
通过docker体验Tera
主要api使用方法
客户端teracli使用方法
文档索引
0 0
- Tera - 高性能、可伸缩的结构化数据库
- 可伸缩的高性能高并发RTMFP集群架构
- 构建可伸缩,高性能的互联网应用
- 构建可伸缩,高性能的互联网应用
- 淘宝的可伸缩高性能互联网架构揭密
- 淘宝的可伸缩高性能互联网架构
- 淘宝的可伸缩高性能互联网架构
- [转]淘宝的可伸缩高性能互联网架构揭密
- 淘宝的可伸缩高性能互联网架构
- 高性能可伸缩的分布式消息中间件设计
- 可伸缩高性能互联网架构揭密
- 淘宝高性能可伸缩平台架构
- 淘宝可伸缩高性能互联网架构
- web应用的可靠性、高性能、可伸缩、可扩展、可迁移 如果保证!
- 淘宝高可伸缩高性能架构的相关框架介绍
- 淘宝高可伸缩高性能架构的相关框架介绍
- 淘宝高可伸缩高性能架构的相关框架介绍
- 高可伸缩的分库分表设计
- MCM Problem C Overview
- 滑动拼图解锁
- Spark商业案例与性能调优实战100课》第11课:商业案例之通过纯粹通过DataFrame分析大数据电影点评系仿QQ和微信、淘宝等用户群分析与实战
- Want VS Needs——《从点子到产品:产品经理的价值观与方法论》
- Python学习笔记2:字典类型
- Tera - 高性能、可伸缩的结构化数据库
- 深入理解 Java 反射:Method (成员方法)
- 报道CSDN
- Can't connect to MySQL server on 'localhost' (10061)
- 同一个点在不同坐标系下的坐标变换关
- [BZOJ]1003 物流运输题解
- <转>【DataFrame】数据离散化重组
- 开始做任务了,今天做的基本的配置工作
- 禁止滑动的ViewPager