如何在Spark平台搭建ThriftServer
来源:互联网 发布:凯里欧文数据 编辑:程序博客网 时间:2024/06/06 07:32
Thrift JDBC Server描述
Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。
使用Thrift JDBC Server前需要注意:
1、将
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
说明: hive-site.xml配置有meta信息存储的MySQL路径
2、需要在$SPARK_HOME/conf/spark-env.sh中的SPARK_CLASSPATH添加jdbc驱动的jar包
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/hadoop/software/mysql-connector-java-5.1.27-bin.jar
## Thrift JDBC Server/beeline启动
1. 启动Thrift JDBC Server:默认端口是10000
cd $SPARK_HOME/sbin
start-thriftserver.sh
> 如何修改Thrift JDBC Server的默认监听端口号?借助于--hiveconf
start-thriftserver.sh --hiveconf hive.server2.thrift.port=14000
Demo:
``` shell
#!/bin/bash
./sbin/start-thriftserver.sh \
--hiveconf hive.exec.mode.local.auto=true \
--hiveconf hive.auto.convert.join=true \
--hiveconf hive.mapjoin.smalltable.filesize=50000000 \
--name thriftserver \
--master yarn-client \
--driver-cores 5 \
--driver-memory 5G \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.scheduler.mode=FAIR \
--conf spark.kryoserializer.buffer.max.mb=1024 \
--conf spark.storage.memoryFraction=0.2
- 启动beeline
cd $SPARK_HOME/bin
beeline -u jdbc:hive2://hadoop000:10000
Demo:
$ ./bin/beelineBeeline version 1.2.1.spark2 by Apache Hivebeeline> !connect jdbc:hive2://localhost:10000
ref:http://slamke.github.io/2017/03/30/%E5%A6%82%E4%BD%95%E5%9C%A8Spark%E5%B9%B3%E5%8F%B0%E6%90%AD%E5%BB%BAThriftServer/
阅读全文
0 0
- 如何在Spark平台搭建ThriftServer
- Spark thriftserver连elasticsearch
- Spark-ThriftServer源码分析
- 在ubuntu 16.04上搭建spark平台
- 关于spark thriftserver的提问
- spark-sql(二)---ThriftServer模式
- [spark]Spark thriftserver(HiveServer2) Custom认证
- Hadoop/Spark平台搭建
- spark平台搭建
- spark平台搭建
- 如何低成本、高效率搭建Hadoop/Spark大数据处理平台
- 在阿里云上搭建 Spark 实验平台
- Spark 1.6.3 thriftServer 支持 ldap 配置
- cdh上使用spark-thriftserver操作carbondata
- 如何在Ubuntu上搭建Spark独立集群管理器(Spark快速大数据分析)
- 如何在Windows平台搭建完整的OpenGL开发环境?
- 如何在MYD-SAMA5D3X平台上快速搭建Android系统
- 如何在IOS平台下搭建PhoneGap开发环境
- 剑指offer 替换空格
- JAVA_编程小案例_数字排序
- 【设计模式】(1)--设计模式初探
- 【Caffe踩坑超有用记录】Ubuntu 15.10/16.04 上安装Caffe——确保编译好的库相互兼容
- 使用Base64编解码
- 如何在Spark平台搭建ThriftServer
- curl错误码对应的中英文解释
- “Internal Server Error"图片路径正确但是却显示不出来,可能和重写规则有关
- 三目运算符?:
- Unity粒子特效详细属性说明
- Unity Shader初涉之 -- Properties
- 那些后来知道的标签
- Linux for Ubuntu安装MS SQL Server
- jq中遇到的问题项目中出错遇到jquery无法赋值的情况 SecurityError: The operation is insecure.