HiveSQL常见问题总结

来源:互联网 发布:复旦大学大数据研究院 编辑:程序博客网 时间:2024/06/16 12:04

1.column repeated in creation: member_id

在所有之前的select里,对应字段如果有名字一样的,必须加表名防混淆


2.去重(完全重复的行)

select distinct * from ( )


如果是要删除表中存在的重复记录,那就逻辑处理,如下:
select Test from Table group by Test having count(test)>1搜索
先查询存在重复的数据,后面根据条件删除(答案来自https://zhidao.baidu.com/question/131048784.html)


3.结束时检查行末空格及逗号,检查建表字段顺序,检查相同名字字段是否别名或加表名,检查from()后是否加了别名


4.odps的count()只能count(*)不能count(a.*)


5.报错FAILED: Error in semantic analysis: Line X:Y Expression not in GROUP BY key 'XXX'

将字段xxx改为collect_set(xxx)[0] as xxx。

此时会取第一行,其余被去重了


6.取某字段值最大的那一行:解决方法增加序号列

select * from (

select *, row_number() over (partition by seller_nick order by num desc) as rank from tablea

) b where b.rank=1