hive一些基本操作

来源:互联网 发布:centos telnet 命令 编辑:程序博客网 时间:2024/06/04 19:25
  1. 字符串操作
    http://www.cnblogs.com/iiwen/p/5611761.html

  2. 函数大全。
    http://blog.csdn.net/wisgood/article/details/17376393
    函数大全。

  3. hive类型转化:cast(‘字段1’ as ‘type1’)
    这里写图片描述

  4. in和not in更简洁的处理方式。
    hql也可以用in和not in,但是1个in或者not in 会产生5个job,其中3个有mapreduce,2个没有。
    通过以下转换,将in和not in转换成1个或者2个job。
    (1).in

select a.col1 from table1 as awhere a.col2 in (select col3 from table2 where condition)

改为:

select a.col1from table1 as aleft jointable2 as bona.col2=b.col3 where a.col2 is not null;

(2). not in

select a.col1 from table1 as awhere a.col2 not in(select col3 from table2 where condition)

改为

select a.col1from table1 as aleft jointable2 as bona.col2=b.col3 where a.col2 is null;

5.hive连接mongodb的方式
(1). 通过driver连接,通过表mapping
http://blog.csdn.net/thriving_fcl/article/details/51471248

(2). 通过mongodump
http://blog.csdn.net/thriving_fcl/article/details/52503394

(3). 运用hadoop对mongodb数据做mapreduce
http://chenhua-1984.iteye.com/blog/2162576

原创粉丝点击