SparkSQL on Hive配置与实战
来源:互联网 发布:18天内减少体重 知乎 编辑:程序博客网 时间:2024/06/17 05:23
首先要配置好hive,保存元数据到mysql中,这个大家自己查资料!
然后配置Spark SQL,
1.配置hive-site.xml
在master1上的/usr/local/spark/spark-1.6.0-bin-hadoop2.6/conf目录创建hive-site.xml文件,内容如下:
<configuration> <property> <name>hive.metastore.uris</name> <value>thrift://master1:9083</value> <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description> </property> </configuration>
这个配置信息从hive的目录$HIVE_HOME/conf/hive-default.xml.template
文件中找到的,默认情况下的value是空值;
2.配置驱动
将$HIVE_HOME/lib/mysql-connector-java-5.1.35-bin.jar 中的mysql
驱动拷贝到$SPARK_HOME/lib/下面即可。
注意:
因为之前我spark环境配置了Zookeeper,做HA,现在不在练习HA,将HA的配置去掉。如果不去掉,必须启动Zookeeper集群才可以单独一台节点上启动spark-shell等;
因为我在master1、worker1、worker2上安装了Zookeeper,所以,要将这三台节点上的$SPARK_HOME/conf/spark-env.sh文件中的SPARK_DAEMON_JAVA_OPTS去掉,并且将配置HA是注释的SPARK_MASTER_IP参数的注释去掉;
export SPARK_MASTER_IP=master1
export SPARK_DAEMON_JAVA_OPTS=”-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master1:2181,worker1:2181,worker2:2181 -Dspark.deploy.zookeeper.dir=/spark”
3.启动hive的metastore后台进程
将日志打印到/root/logs/hive目录下,如果目录不存在则先创建
root@master1:~/logs# hive –service metastore >> /root/logs/hive/metastore.log 2>& 1&
因为配置了上面的hive.metastore.uris,所以必须启动hive的service metastore后台进程才可以执行./spark-shell –master spark://master1:7077和./spark-sql –master spark://master1:7077命令。
在$SPARK_HOME/bin下执行 ./spark-shell –master spark://master1:7077命令。
然后依次执行下面的命令
scala> val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) scala> hiveContext.sql("show databases").collect.foreach(println) scala> hiveContext.sql("use testdb").collect.foreach(println) scala> hiveContext.sql("show tables").collect.foreach(println) res5: org.apache.spark.sql.DataFrame = [tableName: string, isTemporary: boolean] scala> hiveContext.sql("show tables").collect.foreach(println)
- SparkSQL on Hive配置与实战
- SparkSQL与Hive on Spark的比较
- SparkSQL与Hive on Spark的比较
- SparkSQL与Hive on Spark的比较
- SparkSQL与Hive on Spark的比较
- SparkSQL与Hive on Spark的比较
- sparksql on hive实践
- SparkSQL与Hive on Spark的区别与联系
- sparksql与hive整合
- sparksql与hive整合
- SparkSQL配置(HIVE作为数据源)
- sparksql读取hive数据源配置
- SparkSQL与Hive的整合
- SparkSQL与Hive的整合
- hive on spark VS SparkSQL VS hive on tez
- SparkSQL On Yarn with Hive,操作和访问Hive表
- SparkSQL On Yarn with Hive,操作和访问Hive表
- SparkSQL On Yarn with Hive,操作和访问Hive表
- 123 C语言以字符形式读写文件
- macbook 安装 zookeep
- CoreData 与 SQLite 比较
- ANR-[Android_YangKe]
- Android启动模式-[Android_YangKe]
- SparkSQL on Hive配置与实战
- numpy 基础
- 可以看看的网址群
- 自动求导程序的设计与实现(Python)
- Openstack上传镜像
- 基于深度学习的VQA(视觉问答)技术
- java虚拟机与jvm内存模型
- Object类及其方法介绍
- H5简单动画的学习仅仅css操作