Spark和hive整合的时候出现问题
来源:互联网 发布:java web文件管理系统 编辑:程序博客网 时间:2024/06/04 18:11
由于之前有事情回家, 然后这几天才开始继续的学习,今天学习Sparksql 的时候遇到了整合不了的情况,然后在网上找资料并且整理好了这些相关的知识,希望可以帮助大家!
Spark操纵hive表
1.描述
如果没有hive依赖,spark会自动加载hive的依赖库,注意hive所有依赖需要出现在worker中。
配置hive只需要复制core-site.xml + hdfs-site.xml +hive-site.xml三个文档到/soft/spark/conf下即可。
如果没有配置hive-site.xml,spark启动时会在当前目录下创建metastore_db和spark-warehouse两个目录。
准备工作:
拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到$SPARK_HOME/conf/
2. 在$SPARK_HOME/conf/目录中,修改spark-env.sh,添加
export HIVE_HOME=/soft/hive
export SPARK_CLASSPATH=$HIVE_HOME/lib/ mysql-connector-java-5.0.8-bin.jar
3. 另外也可以设置一下Spark的log4j配置文件,使得屏幕中不打印额外的INFO信息:
log4j.rootCategory=WARN, console
这里的准备工作切记你之前的驱动可以用,至于这个驱动你们要自己找自己合适的!这是很重要的一点
$>cd /soft/spark/conf
$>cp/soft/hive/conf/hive-site.xml .
$>cp/soft/hadoop/etc/hadoop/core-site.xml .
$>cp/soft/hadoop/etc/hadoop/hdfs-site.xml .
2.分发文档
$>cd/soft/spark/conf
$>xsync core-site.xml
$>xsync hdfs-site.xml
$>xsync hive-site.xml
3.操作过程
a.启动zk cluster
[202+ 203]
$>zkServer.shstart
b.启动hadoop(只需要hdfs)
[s201]
$>start-dfs.sh
//
$>start-yarn.sh
c.验证hive
$>hive
$hive>showdatabases ;
$hive>showtables ;
$hive>descformatted weblogs ;
d.启动spark-shell
//本地模式
$>spark-shell--master local
//创建支持hive的Spark Session
$scala>importorg.apache.spark.sql.Row
$scala>importorg.apache.spark.sql.SparkSession
$scala>valspark2 = SparkSession.builder().appName("Spark HiveExample").enableHiveSupport().getOrCreate()
$scala>spark2.sql("showdatabases").show;
$scala>spark2.sql("showtables").show;
$scala>spark2.sql("select* from weblogs").show;
- Spark和hive整合的时候出现问题
- 整合spark和hive
- spark整合hive和sql
- 在运行hive的时候出现的问题
- Hibernate和Spring整合的时候出现问题,注入Action出错
- HBase与hive整合出现的问题与解决方案
- Spark SQL 整合Hive的使用
- Spark整合Hive
- Spark整合Hive
- 安装hadoop和hive时候遇到的问题及解决方法
- Spring和jedis整合出现的问题
- springmvc和mybatis整合出现的问题
- Spark-Sql整合hive,在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
- hive和hbase的整合
- HBase和Hive的整合
- ambari安装hdp2.4.0.0出现的编码问题(启动hive metastore时候失败)
- Hive安装和配置及出现的问题和解决方法
- 关于整合springmvc的时候出现的两个磨人的问题
- IntelliJ IDEA 自动导入包 快捷方式
- 【Linux-ln拓展】可用于同时创建多个硬链接同时备份多个文件的程序
- P3817_小A的糖果
- 百度前端技术学院_斌斌学院_task04
- 网易2018校招内推编程题_小易喜欢的数列
- Spark和hive整合的时候出现问题
- iOS @class与#import的区别
- 8.15 I
- 机器学习算法的要点(附 Python 和 R 代码)
- MVC设计模式
- (初学者)笔记:第二种方法进行两个变量值的交换
- 标准库String类型
- 查看Ubuntu的系统版本信息
- Find命令默认为深度优先搜索