SparkSql搭建
来源:互联网 发布:数据作战室有用吗 编辑:程序博客网 时间:2024/06/09 10:34
Spark on yarn已搭建好,开始使用SparkSql,做如下工作
1、将hive-site.xml copy至$SPARK_HOME/conf目录,注意配置hive.metastore.uris、hive.metastore.client.socket.timeout
2、复制mysql-connector-java.jar 到$SPARK_HOME/lib目录
3、配置spark-env.sh
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*
4、开始使用
./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g
0 0
- SparkSql搭建
- window+sparksql+hive+debug sparksql本地环境搭建
- sparkSQL
- SparkSQL
- SparkSQL
- SparkSQL
- 搭建sparksql的hive测试环境
- spark-sparkSQL
- SparkSql 使用
- LearningSpark9:SparkSQL
- sparkCookbook4-SparkSQL
- SparkSQL 概述
- SparkSQL样例
- SparkSQL简介
- SparkSQL 概述
- day60:sparkSql
- SparkSQL简介
- Spark-SparkSql
- 反编译apk文件
- OpenGL 学习笔记(一)——开始以及OPENGL环境配置
- oracle函数wmsys.wm_concat--有道笔记整理
- Thrift安装配置及使用python通过thrift连接HBase测试
- struts2 ajax一个很经典的小例子
- SparkSql搭建
- PHP将编码转为UTF-8
- Mac OS上反编译android app的环境搭建
- com.android.dex.DexException: Multiple dex files define的解决办法 (Android Studio)
- NSURLSession使用说明及后台工作流程分析
- Scrapy爬取博客内容
- Line Search Method 1 - 步长计算 (Step length calculation)
- java 选择排序法
- 网页特殊字符的处理--有道笔记整理