第4章 并行数据加载
来源:互联网 发布:网站美工培训机构 编辑:程序博客网 时间:2024/05/16 11:20
第4章 并行数据加载
本章简述Greenplum的数据加载特性。
在一个大规模的,TB级的数据仓库上,大量的数据必须在一个较短的维护窗口中加载。Greenplum支持快速的、并行数据加载和外部表功能。管理员可以选择单行错误隔离模式的外部表以便将错误的数据过滤到一个单独的表中,同时继续加载正确的格式化的数据行。管理员也可以通过设定加载选项的阈值,以便控制不正确格式化行数导致的Greenplum数据库引擎中止加载操作。
通过与Greenplum数据引擎的并行文件服务器(gpfdist)结合使用外部表,管理员可以实现从Greenplum数据系统最大并行度和负载带宽。
Figure 2:External Tables Using Greenplum Parallel File Server (gpfdist)
Greenplum的另外一个功能是gpload,运行您在YAML格式的控制文件指定装载任务。你描述在控制文件中的源数据位置,格式,需要转换,参与的主机,数据库的目的地,以及其他细节和gpload执行的负荷。这使您可以描述一个复杂的任务,并在可控,可重复的方式执行。 0 0
- 第4章 并行数据加载
- 5并行数据加载
- 《Java in Action》-1 第7章 并行处理数据与性能
- 利用GPU进行高性能数据并行计算《程序员》2008年第4期
- 第3.2.4节 导航与数据加载
- 并行编程之数据并行
- 并行编程之数据并行
- 并行及直接加载
- GPDB 并行加载测试
- 数据加载、存储与文件格式 利用Python进行数据分析 第6章
- 《利用Python进行数据分析》笔记---第6章数据加载、存储与文件格式
- 《利用Python进行数据分析》第6章 数据加载、存储与文件格式
- 加载一级分类数据、加载即选中第一行
- 第1章 概述-七个并发与并行模型
- CUDA数据并行计算
- 合并行数据
- sqoop并行导入数据
- 并行文件系统:元数据
- python中通过模块名引用子模块机制
- epoll如何判断客户端不可读
- Ajax前台返回JSON数据后再Controller中直接转换成类型使用,后台接收json转成实体的方法
- java建造者模式(Builder)-创建型
- [2]AMQP(高级消息队列协议) ----QPID不得不说的事
- 第4章 并行数据加载
- android---------ArrayAdapter、SimpleAdapter和BaseAdapter
- springmvc中的处理模型数据
- Centos7上Mesos和Marathon的安装
- Jade学习笔记
- hbase数据备份或者容灾方案
- 临近位置点警告LocationManager
- 全栈软件工程师和系统架构师的异同
- bootstrap的modal如何remote一个新的页面到现在的窗口?