hive parquet table 配置使用压缩
来源:互联网 发布:php好就业吗 编辑:程序博客网 时间:2024/06/13 22:07
创建parquet table :
create table mytable(a int,b int) STORED AS PARQUET;
创建带压缩的parquet table:
create table mytable(a int,b int) STORED AS PARQUET TBLPROPERTIES('parquet.compression'='SNAPPY');
如果原来创建表的时候没有指定压缩,后续可以通过修改表属性的方式添加压缩:
ALTER TABLE mytable SET TBLPROPERTIES ('parquet.compression'='SNAPPY');
或者在写入的时候set parquet.compression=SNAPPY;
不过只会影响后续入库的数据,原来的数据不会被压缩,需要重跑原来的数据。
采用压缩之后大概可以降低1/3的存储大小。
阅读全文
0 0
- hive parquet table 配置使用压缩
- Hive Parquet配置
- Hive Parquet配置
- hive使用orcfile parquet sequencefile
- hive压缩配置
- Parquet_2. 在 Impala/Hive 中使用 Parquet 格式存储数据
- Hive ORC和Parquet
- spark 读取hive parquet
- Hive扩展功能(一)--Parquet
- Parquet_3. 在 Impala, Hive, Pig, MR中使用 Parquet File -- 待完善
- Spark Parquet使用
- 基于Cloudera Manager5配置HIVE压缩
- 基于Cloudera Manager5配置HIVE压缩
- Hive 11. 关于压缩的配置
- 基于Cloudera Manager5配置HIVE压缩
- Hive parquet 表查询报错
- Hive配置使用derby
- hive参数配置使用
- codevs 1205单词翻转
- .obj 和 .mtl文件格式
- PHP 多维数组
- 【UGUI】踩坑填坑——DropDown
- windows查看端口占用以及关闭相应的进程
- hive parquet table 配置使用压缩
- Linux下安装部署Java环境详解
- Android Fingerprint完全解析(一) :Fingerprint整体框架
- Oracle DB 使用单行函数定制输出
- 89. Gray Code [leetcode]
- 16:9
- 【怎样写代码】复杂对象的组装与创建 -- 建造者模式(一):问题案例
- Oracle出现不是group by 表达式的原因
- 智能指针