认识Hive

什么是Hive:

• Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL类查询功能。

Hive的认识：

*  Hive基于：        1）：处理的数据储存在HDFS        2）：分析数据底层的实现MapReduce        3）：执行程序运行的YARN*  构建在Hadoop之上的数据仓库：        1）：使用HQL作为查询借口        2）：使用HDFS存储        3）：使用MapReduce计算*  本质是：将HQL转换成MapReduce程序

个人理解：

就是吧结构化的数据映射成一张表，然后进行类型SQL语言的数据查询。        HQL底层的MapReduce：
    把数据转换成MapReduce用的是Engine机制。
Hive架构理解认识：
用户接口：Client
CLI(hive shell) JDBC/ODBC(java访问hive)，WEBUI(浏览器访问hive)
元数据：Metastore
元数据包括：表名，表所属的数据库(默认是default)，表的拥有者，列/分去字段，表的类型(是否是外部表)，表的    数据所在目录等。    默认存储在自带的derby数据库中，推介使用采用MySQL储存Metastore       * derby是嵌入式数据库，只支持单用户
Hadoop：
使用HDFS进行存纯，使用MapReudce进行计算
驱动器：Driver：
包含：           解析器，编译器，优化器，执行器     解析器：          将Sql字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr。对AST进行语法分析，比如表         是否存在，字段是否存在，Sql语义是否有误(比如select中被判定为集合的字段在group by中是否出现)。     编译器：         将AST编译生成逻辑执行计划            优化器：         对逻辑执行计划进行优化     执行器：          吧逻辑执行计划转换成运行的物理计划，对于HIVE来说，就是MR/TEZ/Spark
个人理解架构：
CLI就是我们写的命令行，通过JDBC这种方式访问HIVE，导入元数据，元数据储存有表名，所数据库(默认default)，表的     拥有者，列明区字段，是否存在外部表，最重要的是java，驱动器。。         1）：解析器；               解析sql语法，看表是否存在，字段是否存在，sql语句有没有错误，               解析hql语句         2) ：编译器；               就是逻辑执行计划                 把hql翻译成MapReduce         3）：优化器；               然后进行优化               优化sql语句         4）：执行器              运行在yarn平台之上      然后驱动器做完以后，就会用hadoop底层的的MapReduce来计算，下一步储存到HDFS，所以，HIVE就是基于hadoop之上。
Hive优点与使用场景：
操作借口与采用Sql语法，提供快速的开发的能力(简单，容易上手)   避免了去写MapReudce，减少开发人员的学习成本。   统一的元数据管理，可与impala/spark等共享元数据   易扩展(HDFS+MapReduce):可以扩展集群规模，支持自定义函数）   离线的数据处理：比如，日志分析，海量结构化数据离线分析   Hive执行延迟比较高，因此hive常用与数据分析的，对实用性要求不高的场合   Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive执行延迟比较高。