Pig Hive对比

原文地址：http://blog.csdn.net/rzhzhz/article/details/7557607

Pig Latin：数据流编程语言

一个Pig Latin程序是相对于输入的一步步操作。其中每一步都是对数据的一个简单的变换。

用Pig Latin编程更像在RDBMS中“查询规划器”（query planner）这一层对数据进行操作，查询规划器决定了如何将描述型语句转化为一系列系统化执行的步骤。

Pig对它所处理的数据要求则宽松得多；可以在运行时定义模式，而且这是可选的。本质上，Pig可以在任何来源的元组上进行操作。（当然数据源必须支持并行的读操作，例如存放在多个文件中）。它使用UDF（User define feature）从原始格式中读取元组。最常用的输入格式使用制表符分隔的字段组成的文本文件。Pig为这种输入提供了内置加载函数。和传统的数据库不同，Pig并不提供专门的数据导入过程将数据加载到RDBMS。在第一步处理中，数据是从文件系统（通常是HDFS中加载的）。

Pig对复杂、嵌套数据结构的支持也使其不同于处理平面数据类型的SQL。Pig的语言能和UDF及流式操作紧密集成。它的这一能力及其嵌套数据结构，使Pig Latin比大多数SQL的变种具有更强的定制能力。

不支持在线和低时延查询，不支持事务和索引。

不支持随机读和随机写。

和MapReduce一样，所有的写都是批量的，流式的写操作。

Pig相比Hive相对轻量，它主要的优势是相比于直接使用Hadoop Java API可大幅减少开发量。

 

SQL：描述性编程语言

SQL是一个约束的集合，这些约束结合在一起，定义了输出。

RDBMS把数据存储在严格定义了模式的表内。

 

 

HIVE

HIVE介于Pig和传统的RDBMS之间，和Pig一样，Hive也被设计为HDFS作为存储，但是他们之间有着显著的区别。Hive的查询语言HiveQL，是基于SQL的。任何熟悉SQL的人都可以轻松使用HiveQL写查询。和RDBMS相同。Hive要求所有数据必须存储在表中，表必须有模式，而模式由Hive进行管理。但是Hive允许为预先存在于HDFS的数据关联一个模式。所以，数据的加载步骤是可选的。

和Pig一样，Hive也不支持低时延查询。