数据库学习纪要（三）：hive-3

一、HIVE介绍

1）Hive 和关系数据库存储文件的系统不同，Hive 使用的是 hadoop 的 HDFS（hadoop 的分布式文件系统），关系数据库则是服务器本地的文件系统；
2）hive 使用的计算模型是 mapreduce，而关系数据库则是自己设计的计算模型；
3）关系数据库都是为实时查询的业务进行设计的，而 Hive 则是为海量数据做数据挖掘设计的，实时性很差；实时性的区别导致 Hive 的应用场景和关系数据库有很大的不同；
4）Hive 很容易扩展自己的存储能力和计算能力，这个是继承 hadoop 的，而关系数据库在这个方面要比数据库差很多。

二、HIVE基础

2.1.hive常用命令
假设有数据库 fm_data，里面有表格 shield_fm_feature_item_ctr
1）show databases; //列出数据库
2）desc database fm_date; //展示数据库fm_data 的信息
3）use fm_data; //使用某个数据库 fm_data\
4）set hive.cli.print.current.db=ture; //显示列头
5）set hive.cli.print.current.db=false; //关闭列头
6）show tables; //展示这个数据库里面的所有表格
7）show tables in fm_data; //展示数据库fm_data里面的所有表格
8）show tables like '*ctr*'; //模糊查找
9）show create table shield_fm_feature_item_ctr; //获得表格shield_fm_feature_item_ctr的建表语句，其中包括表格的字段，HDFS的location等信息
10）desc shield_fm_feature_item_ctr; //展示表格shield_fm_feature_item_ctr的字段以及字段类型
11）desc formatted shield_fm_feature_item_ctr; //详细描述表格shield_fm_feature_item_ctr,包括表格的结构，所在的database, owner, location, 表格的类型（Managed Table or External Table）,存储信息等

2.2.内部表与外部表
hive 的表格分两种，一种是 managed tables（内部表），另一种是 external tables（外部表）。hive 创建表格时，默认创建的是 managed table，这种表会把数据移动到自己的数据仓库目录下；另外一种是 external tables，它关联的数据不是 hive 维护的，也不在 hive 的数据仓库内。

创建内部表格和外部表格：
create table test(name string);
create external table test(name string); //创建外部表格需要加上external；


修改表属性：
alter table test set tblproperties (‘EXTERNAL’=’TRUE’); //内部表转外部表
alter table test set tblproperties (‘EXTERNAL’=’FALSE’); //外部表转内部表


内部表与外部表的区别：
1）在导入数据到外部表，数据并没有移动到自己的数据仓库目录下(如果指定了location的话)，也就是说外部表中的数据并不是由它自己来管理的！而内部表则不一样；
2）在删除内部表的时候，Hive 将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive 仅仅删除外部表的元数据，数据是不会删除的！换言之，内部表 DROP 时会删除 HDFS 上的数据；外部表 DROP 时不会删除 HDFS 上的数据。
3）在创建内部表或外部表时加上 location 的效果是一样的，只不过表目录的位置不同而已，加上 partition 用法也一样，只不过表目录下会有分区目录而已，load data local inpath 直接把本地文件系统的数据上传到 hdfs 上，有 location 上传到 location 指定的位置上，没有的话上传到 hive 默认配置的数据仓库中。
4）使用场景：内部表：HIVE 中间表，结果表，一般不需要从外部（如本地文件，HDFS 上 load 数据）的情况；外部表：源表，需要定期将外部数据映射到表格中。