Hive&SQL笔记
来源:互联网 发布:淘宝开店品牌信息怎么写 编辑:程序博客网 时间:2024/06/06 02:04
1.unix时间转换
在hive中将UTC转为正常时间的方法
参考:http://ju.outofmemory.cn/entry/125067看第二行,使用from_unixtime将UTC转为string时间,这里虽然这样说了,但是在处理的时候还是有要注意的地方的(注意下面的/1000)
SELECT from_unixtime(cast(1426041039030/1000 as bigint));
返回值为
-03-11 10:30:39
两个方法:
from_unixtime(unixtime/1000, 'yyyyMMdd') //第二个参数是可选的,其格式也可以自己指定
注意:unixtime一定要除以1000,得到的结果才是正确的。
2. 判断空值
if channel=''
3.查询Hive中map中包含的key值:
参考:http://jimi68.iteye.com/blog/980573
select distinct paramaters['label'] from beacon where ...;
4. join时造成 表扩行。导致查询出的结果中,相同记录会重复出现多行。
例:user表中每个用户只有一条记录,但是order表中,一个用户有多条记录。如果两张表进行join,会将order表中的内容进行扩行。
解决办法:结合需求 进行调整。一般可以先将其中一张表进行group 不要操作。例如此处可以在order表中 先按user_id进行group by,然后再两表join,就不会出现扩行了。
5.踩过了好多坑。为此而耗费好多时间。
1)字段英文,看含义啊,不要一个劲儿的找中文。。
2)有聚合函数时,千万别丢了group by。今天因为少了它,上千行的记录 办成了一条,怎么都查不到原因。(2017-01-10)
6.mySQL性能。substr(字符串)有时效率不高。
substr(updated_at,1,10)>'2017-01-10' 不如 updated_at>'2017-01-10'效率高。
7.shell中,'$date2' 千万别少了单引号,否则数据会变得很奇怪。
- Hive SQL 使用笔记
- Hive&SQL笔记
- SQL笔记-Hive
- HIVE sql 学习笔记(1)
- (转)hive sql 学习笔记
- hive sql 学习笔记(1)
- (转)hive sql 学习笔记(1)
- spark sql on hive笔记一
- hive sql
- HIVE SQL
- hive sql
- HIVE笔记
- hive笔记
- Hive笔记
- hive笔记
- Hive笔记
- Hive笔记
- hive笔记
- 判断ImageView当前的图片是哪个图片,然后根据当前图片来做一些操作
- POJ1743 Musical Theme
- Linux下卸载MySQL二进制包(tar.gz)
- 中国早期著名音乐家
- unity 模型层次细节
- Hive&SQL笔记
- windows服务器下部署tomcat,如何将tomcat控制台日志记录到日志文件中
- Android屏幕适配全攻略(最权威的官方适配指导)
- Android Studio中Xml的新建及shape绘图
- (总结)Linux下的暴力密码在线破解工具Hydra详解
- 当Web访问性能出现问题,如何深探?
- 取得数据表中前N条记录,某列重复的话只取第一条记录
- 图的广度优先搜索
- jQuery实现图片的瀑布流效果