Hive深入应用总结
来源:互联网 发布:沈阳盘古网络实施顾问 编辑:程序博客网 时间:2024/05/29 09:05
记录下官方文档上讲的比较少,觉得有用的hive相关知识,绝对干货。
命令:
表明tb1
describe extended tb1;返回表tb1字段,存储格式类型,位置,修改时间等等关于表的详细信息
show functions;显示可以用的函数列表,包括可用的udf函数。
describe function length; 返回length函数的说明,执行输出length(str) - Returns the length of str
set hive.enforce.bucketing;执行显示某个属性的只,这里显示是否确保表中使用桶hive.enforce.bucketing=false,可以通过set hive.enforce.bucketing=true来修改为true;
hive --hiveconf hive.root.logger=DEBUG,console 设置进入本次session中的参数值,这里设置调试信息发送到控制台
set hive.groupby.skewindata=true 在执行某条可能会出现数据倾斜的HQL前设置,会分两个阶段来执行HQL解决数据倾斜。
explain HQL 可以查看HQL的查询计划
SHOW PARTITIONS page_view;
SHOW TABLES 'page.*';
DESCRIBE EXTENDED page_view PARTITION (ds='2008-08-08');
ALTER TABLE tab1 ADD COLUMNS (c1 INT COMMENT 'a new int column', c2 STRING DEFAULT 'def val');
对于数据量比较大的排重select count(sid) from tb1 group by sid;会比select count(distinct sid) from tb1更有效。
hive0.6.0以后支持create datebase dbname,use dbname,drop database dbname来进行分库操作
hive 表分为托管表和外部表
托管表drop表时元数据和数据会被一起删除。
外部表由自己来控制数据的创建和删除,drop表不会删除数据,外部表的位置需要在建表的时候指明。建表create external table tb1....
load数据是一个移动操作,加上local关键字,hive会把本地文件系统的数据复制到hive仓库目录,在同一个文件系统中就会变成复制
查看rcfile格式存储的文件内容
hive -rcfilecat /user/hive/warehouse/tb1/dt=20120325/hour=15/000000_0
顺便说下hadoop查看顺序文件内容,可以使压缩文件,例如
hadoop fs -text /user/hive/warehouse/tb1/dt=20120317/20120317.lzo
- Hive深入应用总结
- [hadoop hive] hive总结
- Hive 在多维统计分析中的应用 & 技巧总结
- Hive 在多维统计分析中的应用 & 技巧总结
- Hive总结
- Hive总结
- Hive总结
- hive总结
- hive总结
- Hive总结
- HIVE总结
- 深入理解 Hive
- Hive深入详解
- hive深入使用
- hive脚本深入解读感悟
- Hive高级应用
- hbase+hive应用场景
- hive分析函数应用
- linux 生产者 消费者 问题
- Splash Screen开场屏在Android中的实现
- 生成高清缩略图; 添加图片、文字水印; 图片、文字水印透明
- Python与c++的相互调用(一)
- (六一儿童节篇)渐行渐远的儿时游戏
- Hive深入应用总结
- Android 开发配置
- 如何学好C++
- 走在一起是缘分 - Qzone日志
- windows系统上安装与使用Android NDK r5
- 信号量
- 围棋棋盘的简易实现方法
- mysql 中的递归查询(未实现分页版本)
- aop (java.lang.String)