Beeline 执行流程
来源:互联网 发布:淘宝隐形眼镜可以买吗 编辑:程序博客网 时间:2024/05/21 06:14
1.启动脚本
$HIVE_HOME/bin/beeline -u jdbc:hive2://192.168.116.143:10000 -n bfd_hz -p 12345 --> $HIVE_HOME/bin/ ext/beeline.sh 可以看到入口类org.apache.hive.beeline.BeeLine
2 入口类
(1) BeeLine beeLine = new BeeLine();
添加配置options.addOption
-d driver class ; -u jdbc url; -n username ; -p password; -u authType 等等
通过BeeLineCommandCompleter 加载所有的命令(可以通过beeline help 查看所有的命令 例如!conect !q 等等),这样就可以用到jline 的tab 补全 等特性,历史信息)
(2) beeLine.bengin(args, inputStream)
initArgs(args) 初始化输入的参数 ---> 通过BeeLineParser 进行解析。(解析-hivevar -hiveconf -d -u 等等)
此时如果url 如果不为空 此时执行 !connect 操作 (如:!connect jdbc:hive2://192.168.116.143:10000 bfd_hz 12345)
dispatch("!connect jdbc:hive2://192.168.116.143:10000 bfd_hz 12345")
如果url 不为空,此时走
execute 中在调用dispatch
3.dispatch 执行操作
(1) 判断是否包含!字符,如果包含通过CommandHandler 的execute 执行命令
此处通过具体的命令名 来 执行apache-hive-1.1.0-src\beeline\src\java\org\apache\hive\beeline\Commands.java 中的函数, 比如!connect 执行Commands中connect函数
connect 参数 "Usage: connect <url> <username> <password> [driver]"
创建连接(第一次会调用DatabaseConnection类中的connect 方法,同JDBC DriverManager.getConnection 获取连接)
此时会创建一个HiveConnection, 此connection 中包含TCLIService.Client, 并通过用户名和密码 open 一个Session 调用thrift接口OpenSession。
(2) 不以!开头的执行commands.sql(line) 例如 show databases 等等ddl 操作和select 操作
首先判断是否有;结束符号,后面同jdbc, 创建statement, beeLine.createStatement(), 创建HiveStatement,通过statement执行语句(通过client的ExecuteStatement)。
(具体过程可以参考apache-hive-1.1.0-src\jdbc\src\java\org\apache\hive\jdbc\HiveStatement 中的ExecuteStatement函数)
然后创建一个日志线程去获取server的日志(通过client FetchResults 获取),当执行语句结束的时候,中断日志线程。
- Beeline 执行流程
- HIVE beeline使用shell 批量执行sql语句
- mapreduce在hive中执行成功,在beeline中执行失败的问题解决
- 执行流程
- Hive Beeline
- Hive Beeline
- beeline 参数
- beeline 使用
- WebWork执行流程
- 控制执行流程
- 浅谈Webwork2执行流程
- PsLookupProcessByProcessId的执行流程
- MFC应用程序执行流程
- AbstractFormController执行流程
- MFC 程序执行流程
- ssh执行流程
- vc_mfc_执行流程
- classloader执行流程分析
- nginx负载均衡后tomcat获取客户端真实IP
- TensorFlow学习(三):Graph和Session
- 13. bash
- 学习php自行开发MVC框架过程(三)
- SSH框架之Hibernate的继承映射的形式三(两张表)【推荐】
- Beeline 执行流程
- Python使用tensorflow中梯度下降算法求解变量最优值
- Winform 窗体传值
- setlocal enabledelayedexpansion的作用
- Java工程通过JDBC连接数据库方法(SQL Server)
- 设计模式系列之十二状态模式
- CodeForces745B B - Hongcow Solves A Puzzle 暴力+判断
- Combination Sum
- Retrofit源码分析