Hive学习
来源:互联网 发布:速拓软件价格 编辑:程序博客网 时间:2024/05/18 20:05
分布式数据仓库Hive
Hive的数据存储模型
在Hive中使用了4中主要的数据存储模型:表(Table)、外部表(External Table)、分区(Partition)、桶(Bucket).
表
- Hive表逻辑上由两部分组成:第一部分为真实数据。第二部分为母爱书表格中数据形式的元数据。
- 在物理实现上,Hive的每个表的数据存储在HDFS目录下,二描述表格中数据形式的元数据存储在关系型数据库中
- Hive表在HDFS中有固定的位置,例如,一个表名为“students”的数据表创建后将在HDFS中有一个对应的文件路径“/home/hive/warehouse/students”,其中 ,”/home/hive/warehouse”是用户在HDFS中的hive-site.xml配置文件中配置参数${hive.matastore.warehouse.dir}所设置的一个数据仓库根目录。
外部表
- 创建时需使用关键字External声明,例如:create external table logs(timestamp BIGINT,line STRING)
- 外部表和普通表的区别在于load和drop指令的本质上
分区
- 建分区需要在创建表时通过PARTITION BY字句指定,例如,
create table logs(timestamp BIGINT,line STRING)
PRTTITION BY(date BIGINT,country STRING)
桶(bucket)
- 创建带有桶的表的语句
create table bucketed_users(id INT,name STRING)
CLUSTERED BY (id) INTO 4 BUCKETS;
Hive查询语言——HiveQL
主要支持以下几类操作:
- DDL:数据定义语句,包括create,alter,show,describe,drop等
- DDM:数据操作语句,包括load data,insert(将查询结果写入Hive表或文件系统中)。Hive的操作没有考虑update操作
- QUERY:数据查询语句,主要是select语句
1 0
- hive学习 hive基本功
- hive学习-------初始hive
- 学习hive
- Hive学习
- Hive学习
- Hive学习
- hive学习
- hive学习
- Hive学习
- Hive学习
- Hive学习
- Hive学习之Hive配置管理
- Hive学习笔记--Hive 优化
- Hive学习笔记--Hive JDBC
- Hive学习之Hive CLI
- Hive学习之Hive数据类型
- hive学习 hive中的数据类型
- hive学习 hive中的表
- Java学习记录一
- http://blog.csdn.net/u010278305
- 蓝桥杯 数字三角形
- ButterKnife源码分析
- 1061
- Hive学习
- springboot 完整企业项目搭建实记
- matplotlib去掉坐标轴刻度
- Android 分享工具类
- android自定义图片,支持缩放拖拽的功能实现
- CSS的一些基础样式,继承性权重问题
- 1062
- VS注释与取消注释快捷键
- 微信选择接口域名说明