快数据与大数据的结合(VoltDB + Hadoop)

VoltDB提供了实时摄取数据与分析的能力(Fast Data)，Hadoop作为大数据分析的平台(Big Data)。

两个处理系统的结合使用是即使Fast Data与Big Data的结合，也是联机事务处理系统(OLTP)和联机分析处理系统OLAP两种不同应用的结合。

现总结如下表：

System(系统)

Data(数据)

处理类型

VoltDB

Fast Data (快数据)

OLTP (联合事务处理系统)

Hadoop

Big Data (大数据)

OLAP (联合分析处理系统)

以下部分文字来自Google的翻译：（https://voltdb.com/products/hadoop）

Hadoop的数据管道与VoltDB如下所示：(改图来自: https://voltdb.com/sites/default/files/hadoop_2.png)

VoltDB提供了处理的数据通过一个内置的，事务性特征提取高速出口的支持。 VoltDB出口饲料处理过的数据HDFS / Hadoop的。 应用程序开发人员可以通过在模式作为来源为出口指定表的自动导出过程。 在运行时，写入指定的表中的任何数据被发送到一个出口连接器，其工作是将这些元组的出口目标安全和尽可能低的延迟。 VoltDB提供连接器，用于出口的文件（CSV）; 通过WebHDFS到Hadoop的; 通过数据序列化和交换服务，如Avro的; 并通过JDBC出口到其他关系型数据库。 欲了解更多关于卡夫卡连接器VoltDB， 请点击这里 。

VoltDB，HTTP连接器和WebHDFS

VoltDB的连接器序列化接收从导出表数据连接到Hadoop，，并通过HTTP请求WebHDFS其写出到Hadoop的。

该VoltDB HTTP连接器是通用的导出功能，可以从简单的通讯服务出口到任意数量的目的地，以更复杂的REST API。 这些属性共同创造一个一致的导出过程。

该HTTP连接器包含优化通过WebHDFS协议，支持数据导出到Hadoop的。 开发人员可以使用WebHDFS时，两种格式的导出数据之间进行选择：逗号分隔值（CSV）和Apache Avro的格式。 默认情况下，数据被写入作为CSV数据; 但是，开发人员可以选择通过设置type属性设置输出格式Avro的。 阿夫罗是一个数据序列化系统，该系统包括由Hadoop的实用程序，如猪和蜂房本身中使用的二进制格式。 因为它是一个二进制格式，阿夫罗数据占用更少的网络带宽比基于文本的格式，例如CSV格式。

VoltDB用Hadoop为开发人员提供一个闭环系统，提供完整的可见性组织的数据，丰富与历史分析事件数据的巨大的输入流，以支持业务决策。 了解更多关于VoltDB网络HDFS。

VoltDB提供了一个广泛的大数据生态系统集成，认证，行业合作伙伴和连接器，以实现高速的数据导出到基于Hadoop的数据仓库和长期分析存储，如HP Vertica的和IBM的Netezza。

VoltDB大数据集成使开发人员能够利用速度和进出口数据管道的周期性的优势。

VoltDB被认证的合作伙伴：

Hortonworks,     Cloudera,          MapR