5并行数据加载
来源:互联网 发布:ubuntu 笔记本 编辑:程序博客网 时间:2024/06/05 12:03
5 并行数据加载
本章简述Greenplum的数据加载特性。
在一个大规模的,TB级的数据仓库上,大量的数据必须在一个较短的维护窗口中加载。Greenplum支持快速的、并行数据加载和外部表功能。管理员可以选择单行错误隔离模式的外部表以便将错误的数据过滤到一个单独的表中,同时继续加载正确的格式化的数据行。管理员也可以通过设定加载选项的阈值,以便控制不正确格式化行数导致的Greenplum数据库引擎中止加载操作。
通过与Greenplum数据引擎的并行文件服务器(gpfdist)结合使用外部表,管理员可以实现从Greenplum数据系统最大并行度和负载带宽。
Figure 2: External Tables Using Greenplum ParallelFile Server (gpfdist)
Greenplum的另外一个功能是gpload,运行您在YAML格式的控制文件指定装载任务。你描述在控制文件中的源数据位置,格式,需要转换,参与的主机,数据库的目的地,以及其他细节和gpload执行的负荷。这使您可以描述一个复杂的任务,并在可控,可重复的方式执行。
阅读全文
0 0
- 5并行数据加载
- 第4章 并行数据加载
- 并行编程之数据并行
- 并行编程之数据并行
- 并行及直接加载
- GPDB 并行加载测试
- CUDA数据并行计算
- 合并行数据
- sqoop并行导入数据
- 并行文件系统:元数据
- 命令式数据并行
- 数据库并行操作数据
- js并行加载,顺序执行
- java 异步并行加载机制
- 并行编程与PLINQ-数据并行
- Easyui中数据网格请求加载数据为空时,追加合并行显示暂无记录
- 指令级并行,线程级并行,数据级并行区别
- PETSc并行读取矩阵数据
- Spring
- GreenPlum之按月份或季度实现行转列
- test命令的文件比较功能
- POJ 3104 Drying
- spring定时任务的配置及注释
- 5并行数据加载
- 二级指针输入模型(三种内存模型)
- POJ 1655 Balancing Act
- eclipse中使用git
- Java操作Excel基本
- 交换排序(2)--快速排序3种实现方案及其优化
- C++引用/枚举/typedef/头文件/预编译器/自定义头文件
- stl-set
- Scala Extractor Objects