(10)Hive体系结构 —— 深入浅出学Hive

转自：http://sishuok.com/forum/blogPost/list/6220.html

第一部分：概念 

概念

•用户接口：用户访问Hive的入口

•元数据：Hive的用户信息与表的MetaData

•解释器：分析翻译HQL的组件

•编译器：编译HQL的组件

•优化器：优化HQL的组件

第二部分：Hive架构与基本组成

架构图

基本组成

•用户接口，包括 CLI，JDBC/ODBC，WebUI

•元数据存储，通常是存储在关系数据库如 mysql, derby 中

•解释器、编译器、优化器、执行器

•Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算

 

各组件的基本功能

•用户接口主要有三个：CLI，JDBC/ODBC和 WebUI

•CLI，即Shell命令行

•JDBC/ODBC 是 Hive 的JAVA，与使用传统数据库JDBC的方式类似

•WebGUI是通过浏览器访问 Hive

•Hive 将元数据存储在数据库中，目前只支持 mysql、derby，下一版本会支持更多的数据库。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等

•解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行

•Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from table 不会生成 MapRedcue 任务）

Metastore

•Metastore是系统目录(catalog)用于保存Hive中所存储的表的元数据（metadata）信息

•Metastore是Hive被用作传统数据库解决方案（如oracle和db2）时区别其它类似系统的一个特征

•Metastore包含如下的部分：

•Database 是表（table）的名字空间。默认的数据库（database）名为‘default’

•Table 表（table）的原数据包含信息有：列（list of columns）和它们的类型（types），拥有者（owner），存储空间（storage）和SerDei信息

•Partition 每个分区（partition）都有自己的列（columns），SerDe和存储空间（storage）。这一特征将被用来支持Hive中的模式演变（schema evolution）

Compiler

•Driver调用编译器（compiler）处理HiveQL字串，这些字串可能是一条DDL、DML或查询语句

•编译器将字符串转化为策略（plan）

•策略仅由元数据操作和HDFS操作组成，元数据操作只包含DDL语句，HDFS操作只包含LOAD语句

•对插入和查询而言，策略由map-reduce任务中的具有方向的非循环图（directedacyclic graph，DAG）组成

第三部分：Hive运行模式 

Hive运行模式

•Hive的运行模式即任务的执行环境

•分为本地与集群两种

•我们可以通过mapred.job.tracker 来指明

•设置方式

•hive > SET  mapred.job.tracker=local

第四部分：数据类型

原始数据类型

•Integers

TINYINT - 1 byte

SMALLINT - 2 byte

INT - 4 byte

BIGINT - 8 byte

•Boolean type

BOOLEAN - TRUE/FALSE

•Floating point numbers

FLOAT –单精度

DOUBLE – 双精度

•String type

STRING - sequence of characters in a specified character set

  

复杂数据类型

•Structs: 例子  {c INT; d INT}

•Maps (key-value tuples):. 例子'group' -> gid  M['group']

•Arrays (indexable lists):  例子[‘1', ‘2', ‘3']

•TIMESTAMP  0.8版本新加属性

第五部分：Hive的元数据存储

存储方式与模式

•Hive 将元数据存储在 数据库中

•连接到数据库模式有三种

•单用户模式

•多用户模式

•远程服务器模式

 

单用户模式

此模式连接到一个 In-memory 的数据库 Derby ，一般用于 Unit Test

 

多用户模式

通过网络连接到一个数据库中，是最经常使用到的模式

 

远程服务器模式

•用于非 Java 客户端访问元数据库，在服务器端启动MetaStoreServer，客户端利用 Thrift 协议通过MetaStoreServer 访问元数据库

 

第六部分：Hive的数据存储

Hive数据存储的基本概念

•Hive的数据存储是建立在Hadoop HDFS之上的

•Hive没有专门的数据存储格式

•存储结构主要包括：数据库、文件、表、视图

•Hive默认可以直接加载文本文件，还支持sequence file 、RCFile

•创建表时，我们直接告诉Hive数据的列分隔符与行分隔符，Hive即可解析数据

Hive的数据模型-数据库

•类似传统数据库的DataBase

•在第三方数据库里实际是一张表

•简单示例

•命令行hive > create database test_database;

Hive的数据模型-表

•Table 内部表

•Partition  分区表

•External Table 外部表

•Bucket  Table 

内部表

•与数据库中的 Table 在概念上是类似

•每一个 Table 在 Hive 中都有一个相应的目录存储数据

•例如，一个表 test，它在 HDFS 中的路径为：/ warehouse /test

• warehouse是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的数据仓库的目录

•所有的 Table 数据（不包括 External Table）都保存在这个目录中。

•删除表时，元数据与数据都会被删除

内部表简单示例

•创建数据文件test_inner_table.txt

•创建表

•create table test_inner_table (key string)

•加载数据

•LOAD DATA LOCAL INPATH ‘filepath’ INTO TABLE test_inner_table

•查看数据

•select * from test_inner_table

•select count(*) from test_inner_table

•删除表 drop table test_inner_table

分区表

•Partition 对应于数据库中的 Partition 列的密集索引

•在 Hive 中，表中的一个 Partition 对应于表下的一个目录，所有的 Partition 的数据都存储在对应的目录中

•例如：test表中包含 date 和 position 两个 Partition，则对应于 date = 20120801, position = zh 的 HDFS 子目录为：/ warehouse /test/date=20120801/ position =zh

•对应于  = 20100801, position = US 的HDFS 子目录为；/ warehouse /xiaojun/date=20120801/ position =US

分区表简单示例

•创建数据文件test_partition_table.txt

•创建表

•create table test_partition_table (key string) partitioned by (dt string)

•加载数据

•LOAD DATA INPATH ‘filepath’ INTO TABLE test_partition_table partition (dt=‘2006’)

•查看数据

•select * from test_partition_table

•select count(*) from test_partition_table

•删除表 drop table test_partition_table

外部表

•指向已经在 HDFS 中存在的数据，可以创建 Partition

•它和 内部表 在元数据的组织上是相同的，而实际数据的存储则有较大的差异

•内部表 的创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据对访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除

• 外部表 只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个 外部表 时，仅删除该链接

外部表简单示例

•创建数据文件test_external_table.txt

•创建表

•create external table test_external_table (key string)

•加载数据

•LOAD DATA INPATH ‘filepath’ INTO TABLE test_inner_table

•查看数据

•select * from test_external_table

•select count(*) from test_external_table

•删除表 drop table test_external_table

Bucket Table

•可以将表的列通过Hash算法进一步分解成不同的文件存储

•例如：将age列分散成20个文件，首先要对AGE进行Hash计算，对应为0的写入/warehouse/test/date=20120801/postion=zh/part-00000,对应为1的写入/warehouse/test/date=20120801/postion=zh/part-00001

•如果想应用很多的Map任务这样是不错的选择

Bucket Table简单示例

•创建数据文件test_bucket_table.txt

•创建表

•create table test_bucket_table (key string)

     clustered by (key) into 20 buckets

•加载数据

•LOAD DATA INPATH ‘filepath’ INTO TABLE test_bucket_table

•查看数据

•select * from test_bucket_table

•set hive.enforce.bucketing = true;

Hive的数据模型-视图

•视图与传统数据库的视图类似

•视图是只读的

•视图基于的基本表，如果改变，指增加不会影响视图的呈现；如果删除，会出现问题

•如果不指定视图的列，会根据select语句后的生成

•示例

•create view test_view as select * from test

第七部分：HiveUI介绍

启动UI

•配置

•hive-site.xml 添加

  <property>

       <name>hive.hwi.war.file</name>

       <value>lib/hive-hwi-0.8.1.war</value>

  </property>

•

•启动Hive的UI sh $HIVE_HOME/bin/hive --service hwi