DbVisualizer配置连接hive
来源:互联网 发布:维基百科数据库下载 编辑:程序博客网 时间:2024/06/05 00:46
最近在测试hive on Spark的功能,由于数据库Oracle习惯使用PLsql了,其他我都使用DbVisualizer,就尝试配置了一下。
0.测试环境
测试了2个hadoop集群,机器都是4台普通的服务器2U服务器
测试环境1:hive on hadoop
hive-1.0
hadoop-common-2.2
测试环境2:hive on spark
cdh5.7
hive-1.1.0
hadoop-2.6.0
spark-1.6.0
1.安装DbVisualizer9.5
下载地址http://www.dbvis.com/
修改dbvisgui.bat
增加PATH=JDK_PATH;%PATH%
2.配置DbVisualizer里的hive jdbc
DbVisualizer\jdbc\hive下复制这2个文件
hadoop-common-2.6.4.jar
hive-jdbc-1.1.1-standalone.jar
然后在tools/Driver manager按如下配置即可
注意hive server如果是1.x的版本,hive-jdbc就不能使用2.x版本,会报如下错误:
Required field 'client_protocol' is unset!Struct:TOpenSessionReq(client_protocol:null,configuration:{use:database=default})
hadoop版本高一点没关系,使用hadoop-common-2.7.2.jar也可以。
如果要使用老版本
需要在DbVisualizer\jdbc\hive下复制以下文件
hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
hadoop-2.2.0/share/hadoop/common/lib/slf4j-api-1.7.5.jar
hadoop-2.2.0/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar
hive-1.0.0/lib/*
3.性能比较
数据表test 3000万的数据量,字段就是20个左右。
语句select sum(quantity),count(*) from test
hive on spark 大概第一次50三s+ ,以后20 s+
hive on hadoop 大概都是70 s+
具体的性能还要再加点数据看看。- DbVisualizer配置连接hive
- 在mac上DbVisualizer图形化客户端配置连接Hive
- DbVisualizer安装与配置Hive链接
- 关于DbVisualizer配置连接AS400 IBM数据库的配置
- DbVisualizer 连接AS400
- hive连接mysql配置
- SQuirrel连接hive配置
- DbVisualizer使用Phoenix连接Hbase
- Hive配置 连接远程mysql
- Hiv:SQuirrel连接hive配置
- Hive配置 连接远程mysql
- Hive配置 远程连接MySQL
- 安装DBvisualizer并且配置oracle
- dbvisualizer连接linux下的informix
- DbVisualizer用JDBC连接SQL Server
- PL/SQL Developer、DbVisualizer 远程连接Oracle
- 如何让dbvisualizer连接到mysql
- 2.2、配置Spark-sql(连接Hive)
- 数据库管理工具——SQuirreL SQL Client使用入门
- Dead Fraction(辗转相除法)
- JAVA基础--HashSet 和 HashMap
- js同时寻找数组中最大值和最小值,编程之美解法三
- linux中常用的命令详解
- DbVisualizer配置连接hive
- 51Nod-1412-AVL树的种类
- Bad Cowtractors(最大生成树与判定)
- 78. Subsets &90. Subsets II
- CSS文本样式
- Out of Hay(最小生成树的最大权)
- HDU 5452-C - Minimum Cut 树链剖分
- Agri-Net(最小生成树)
- 大二入学感慨