Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.4 数据类型和存储格式)(草稿)
来源:互联网 发布:spark php客户端 编辑:程序博客网 时间:2024/05/16 07:23
第11章 Hive:SQL on Hadoop
11.4 数据类型和存储格式
11.4.1 数据类型
(1)基本类型
Hive 支持关系型数据中大多数基本数据类型,
和其他的SQL语言一样,这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现,因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如,string类型实现的是Java中的String,float实现的是Java中的float,等等。
(2)复杂类型
hive> create table employees( > id int, > name map<string,string>, > birthday date, > salary double, > address struct<street:string,city:string,zip:int>, > phone array<string> > );OKTime taken: 1.044 secondshive>
14.4.2 存储格式
Hive会为每个创建的数据库在HDFS上创建一个目录,该数据库的表会以子目录形式存储,表中的数据会以表目录下的文件形式存储。对于default数据库,默认的缺省数据库没有自己的目录,default数据库下的表默认存放在/user/hive/warehouse目录下。
(1)textfile
textfile为默认格式,存储方式为行存储。数据不做压缩,磁盘开销大,数据解析开销大。
(2)SequenceFile
SequenceFile是Hadoop API提供的一种二进制文件支持,其具有使用方便、可分割、可压缩的特点。
SequenceFile支持三种压缩选择:NONE, RECORD, BLOCK。 Record压缩率低,一般建议使用BLOCK压缩。
(3)RCFile
一种行列存储相结合的存储方式。
(4)ORCFile
数据按照行分块,每个块按照列存储,其中每个块都存储有一个索引。hive给出的新格式,属于RCFILE的升级版,性能有大幅度提升,而且数据可以压缩存储,压缩快 快速列存取。
(5)Parquet
Parquet也是一种行式存储,同时具有很好的压缩性能;同时可以减少大量的表扫描和反序列化的时间。
hive 表的文件格式一般是在创建表时用 stored as 语句声明
hive> create table tb1(id int,name string) > stored as textfile;OKTime taken: 0.84 secondshive>
hive> desc tb1;OKid int name string Time taken: 0.174 seconds, Fetched: 2 row(s)hive>
14.4.3 数据格式
当数据存储在文本文件中,必须按照一定格式区别行和列,并且在Hive中指明这些区分符。Hive默认使用了几个平时很少出现的字符,这些字符一般不会作为内容出现在记录中。
Hive默认的行和列分隔符如下表所示。
用户可以根据需要自定义分隔符,例如:
hive> create table tb2(id int,name string) > row format delimited fields terminated by '\t' > stored as textfile;OKTime taken: 0.276 secondshive>
其中row format delimited fields terminated by '\t'
指定了列分隔符为’\t’,也就是tab键(制表符)。
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.4 数据类型和存储格式)(草稿)
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.1 Hive 介绍)(草稿)
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.7 HQL:数据查询)(草稿)
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.8 HQL:排序)(草稿)
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.2 Hive安装与配置)(草稿)
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.5 HQL:DDL数据定义)(草稿)
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.6 HQL:DML数据操纵)(草稿)
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.3 Hive 快速入门)
- Hadoop基础教程-第12章 Hive:进阶(12.4 Hive Metastore)(草稿)
- Hadoop基础教程-第12章 Hive:进阶(12.5 Hive外表)(草稿)
- Hadoop基础教程-第12章 Hive:进阶(12.1 内置函数)(草稿)
- Hadoop基础教程-第12章 Hive:进阶(12.2 自定义函数)(草稿)
- Hadoop基础教程-第12章 Hive:进阶(12.3 HiveServer2)(草稿)
- Hadoop基础教程-第10章 HBase:Hadoop数据库(10.1 NoSQL介绍)(草稿)
- Hadoop基础教程-第10章 HBase:Hadoop数据库(10.2 HBase基本概念、框架)(草稿)
- Hadoop基础教程-第10章 HBase:Hadoop数据库(10.3 HBase安装与配置)(草稿)
- Hadoop基础教程-第10章 HBase:Hadoop数据库(10.4 NTP时间同步)(草稿)
- Hadoop基础教程-第10章 HBase:Hadoop数据库(10.5 HBase Shell)(草稿)
- c++ 一日一练:利用文件流缓冲区
- Oracle数据库REMOTE_LOGIN_PASSWORDFILE参数的设置
- Hibernate(六)一对一映射
- c# 委托
- c++一日一练:让标准的输入输出流关联一个缓冲区
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.4 数据类型和存储格式)(草稿)
- shader常用函数列表
- c++疯狂代码之读和写。。。(用读操作来触发写)
- [Asp.Net]GridView分页实现
- 使用Spring Cloud和Docker构建微服务架构
- c++一日一练:利用流来实现读和写的同步(原创)
- rails 多表查询
- 关于rdbuf
- c++ 一日一练:istream.rdbuf(ostringstream.rdbuf())无效!