shell命令执行hive脚本(hive交互,hive的shell编程)

来源:互联网 发布:江西工业工程学院知乎 编辑:程序博客网 时间:2024/05/16 03:20

原文链接

Hive执行方式

Hive的hql命令执行方式有三种:

1、CLI 方式直接执行2、作为字符串通过shell调用hive –e执行(-S开启静默,去掉”OK”,”Time taken”)3、作为独立文件,通过shell调用 hive –f或hive –i执行执行

方式1

键入“hive”,启动hive的cli交互模式。Set可以查看所有环境设置参数,并可以重设。其他命令如,    Use database        选择库    quit/exit   退出Hive的交互模式     set –v  显示Hive中的所有变量    set <key>=<value>       设置参数    执行本地shell :!<cmd>       交互模式下可执行shell命令,例如(查看linux根目录下文件列表:"!ls -l /;")    操作云命令:dfs < command>        交互模式下直接操作hadoop命令如 dfs fs –ls    Hql语句       执行查询并输出到标准输出    add [FILE|JAR|ARCHIVE] <value> [<value>]*       增加一个文件到资源列表    list FILE       列出所有已经添加的资源

方式二

Hql作为字符串在shell脚本中执行,如    hive -e "use ${database};select * from tb"查询结果可以直接导出到本地本件(默认分隔符为\t):    hive -e "select * from tb" > tb.txt
如果需要查看执行步骤,则在命令前面添加
    set –x
另外,在shell脚本中,字符串有两种定义方式:
1)  直接定义字符串对象:sql=”字符串”2)  通过命令定义:sql=$(cat <<endtag 字符串endtag)方式可以将字符串复制给sql,执行hql命令的shell脚本如下:
<code class="language-shell hljs bash has-numbering" style="display: block; padding: 0px; background: transparent; color: inherit; box-sizing: border-box; font-family: "Source Code Pro", monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal;"><span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">####### execute hive ######</span>sql=$(cat <<!EOFUSE pmp;<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">set</span> mapred.queue.names=queue3;drop table <span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">if</span> exists people_targeted_delivery;create table people_targeted_delivery( special_tag_id int,  cnt bigint);INSERT OVERWRITE LOCAL DIRECTORY <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">'$cur_path/people_targeted_delivery'</span>ROW FORMAT DELIMITED FIELDS TERMINATED BY <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">'\t'</span> select special_tag_id,count(<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span>) from t_pmp_special_user_tagsgroup by special_tag_id;!EOF)<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">############  execute begin   ###########</span><span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">echo</span> <span class="hljs-variable" style="color: rgb(102, 0, 102); box-sizing: border-box;">$sql</span><span class="hljs-variable" style="color: rgb(102, 0, 102); box-sizing: border-box;">$HIVE_HOME</span>/bin/hive <span class="hljs-operator" style="box-sizing: border-box;">-e</span> <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">"<span class="hljs-variable" style="color: rgb(102, 0, 102); box-sizing: border-box;">$sql</span>"</span><span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">exit</span>Code=$?<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">if</span> [ <span class="hljs-variable" style="color: rgb(102, 0, 102); box-sizing: border-box;">$exitCode</span> <span class="hljs-operator" style="box-sizing: border-box;">-ne</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0</span> ];<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">then</span>         <span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">echo</span> <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">"[ERROR] hive execute failed!"</span>         <span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">exit</span> <span class="hljs-variable" style="color: rgb(102, 0, 102); box-sizing: border-box;">$exitCode</span><span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">fi</span></code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; background-color: rgb(238, 238, 238); top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right: 1px solid rgb(221, 221, 221); list-style: none; text-align: right;"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li><li style="box-sizing: border-box; padding: 0px 5px;">15</li><li style="box-sizing: border-box; padding: 0px 5px;">16</li><li style="box-sizing: border-box; padding: 0px 5px;">17</li><li style="box-sizing: border-box; padding: 0px 5px;">18</li><li style="box-sizing: border-box; padding: 0px 5px;">19</li><li style="box-sizing: border-box; padding: 0px 5px;">20</li><li style="box-sizing: border-box; padding: 0px 5px;">21</li><li style="box-sizing: border-box; padding: 0px 5px;">22</li><li style="box-sizing: border-box; padding: 0px 5px;">23</li><li style="box-sizing: border-box; padding: 0px 5px;">24</li><li style="box-sizing: border-box; padding: 0px 5px;">25</li><li style="box-sizing: border-box; padding: 0px 5px;">26</li><li style="box-sizing: border-box; padding: 0px 5px;">27</li><li style="box-sizing: border-box; padding: 0px 5px;">28</li></ul><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; background-color: rgb(238, 238, 238); top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right: 1px solid rgb(221, 221, 221); list-style: none; text-align: right;"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li><li style="box-sizing: border-box; padding: 0px 5px;">15</li><li style="box-sizing: border-box; padding: 0px 5px;">16</li><li style="box-sizing: border-box; padding: 0px 5px;">17</li><li style="box-sizing: border-box; padding: 0px 5px;">18</li><li style="box-sizing: border-box; padding: 0px 5px;">19</li><li style="box-sizing: border-box; padding: 0px 5px;">20</li><li style="box-sizing: border-box; padding: 0px 5px;">21</li><li style="box-sizing: border-box; padding: 0px 5px;">22</li><li style="box-sizing: border-box; padding: 0px 5px;">23</li><li style="box-sizing: border-box; padding: 0px 5px;">24</li><li style="box-sizing: border-box; padding: 0px 5px;">25</li><li style="box-sizing: border-box; padding: 0px 5px;">26</li><li style="box-sizing: border-box; padding: 0px 5px;">27</li><li style="box-sizing: border-box; padding: 0px 5px;">28</li></ul>

方式三

将hql语句保存为独立文件,后缀名不限制,可以用.q或者.hql作为标识:    A,这个文件在cli模式下,用source命令执行,如:source ./mytest.hql    B,在shell中执行命令,如:hive -f  mytest.sql

Hive指定预执行文件命令“hive –i”(或叫初始化文件)

命令:hive -i hive-script.sql在hive启动cli之前,先执行指定文件(hive-script.sql)中的命令。也就是说,允许用户在cli启动时预先执行一个指定文件,比如,有一些常用的环境参数设置,频繁执行的命令,可以添加在初始化文件中,比如,    某些参数设置        set mapred.queue.names=queue3;        SET mapred.reduce.tasks=14;    添加udf文件        add JAR ./playdata-hive-udf.jar;    设置Hive的日志级别         hive -hiveconf hive.root.logger=INFO;

0 0
原创粉丝点击