Spark(四): Spark-sql 读hbase
来源:互联网 发布:surge for mac 教程 编辑:程序博客网 时间:2024/05/22 13:48
SparkSQL是指整合了Hive的spark-sql cli, 本质上就是通过Hive访问HBase表,具体就是通过hive-hbase-handler, 具体配置参见:Hive(五):hive与hbase整合
目录:
- SparkSql 访问 hbase配置
- 测试验证
SparkSql 访问 hbase配置:
- 拷贝HBase的相关jar包到Spark节点上的$SPARK_HOME/lib目录下,清单如下:
guava-14.0.1.jarhtrace-core-3.1.0-incubating.jarhbase-common-1.1.2.2.4.2.0-258.jarhbase-common-1.1.2.2.4.2.0-258-tests.jarhbase-client-1.1.2.2.4.2.0-258.jarhbase-server-1.1.2.2.4.2.0-258.jarhbase-protocol-1.1.2.2.4.2.0-258.jarhive-hbase-handler-1.2.1000.2.4.2.0-258.jar
- 在 ambari 上配置Spark节点的$SPARK_HOME/conf/spark-env.sh,将上面的jar包添加到SPARK_CLASSPATH,如下图:
- 配置项清单如下:注意jar包之间不能有空格或回车符
export SPARK_CLASSPATH=/usr/hdp/2.4.2.0-258/spark/lib/guava-11.0.2.jar: /usr/hdp/2.4.2.0-258/spark/lib/hbase-client-1.1.2.2.4.2.0-258.jar:/usr/hdp/2.4.2.0-258/spark/lib/hbase-common-1.1.2.2.4.2.0-258.jar:/usr/hdp/2.4.2.0-258/spark/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar:/usr/hdp/2.4.2.0-258/spark/lib/hbase-server-1.1.2.2.4.2.0-258.jar:/usr/hdp/2.4.2.0-258/spark/lib/hive-hbase-handler-1.2.1000.2.4.2.0-258.jar:/usr/hdp/2.4.2.0-258/spark/lib/htrace-core-3.1.0-incubating.jar: /usr/hdp/2.4.2.0-258/spark/lib/protobuf-java-2.5.0.jar:${SPARK_CLASSPATH}
- 将hbase-site.xml拷贝至${HADOOP_CONF_DIR},由于spark-env.sh中配置了Hadoop配置文件目录${HADOOP_CONF_DIR},因此会将hbase-site.xml加载,hbase-site.xml中主要是以下几个参数的配置:
<property><name>hbase.zookeeper.quorum</name><value>r,hdp2,hdp3</value><description>HBase使用的zookeeper节点</description></property><property><name>hbase.client.scanner.caching</name><value>100</value><description>HBase客户端扫描缓存,对查询性能有很大帮助</description></property>
- ambari 上重启修改配置后影响的组件服务
测试验证:
- 任一spark client节点验证:
- 命令: cd /usr/hdp/2.4.2.0-258/spark/bin (spark安装目录)
- 命令: ./spark-sql
- 执行: select * from stocksinfo; (stocksinfo 为与hbase关联的hive外部表)
- 结果如下则OK:
0 0
- Spark(四): Spark-sql 读hbase
- Spark(四): Spark-sql 读hbase
- spark sql读hbase
- spark hbase
- spark hbase
- Spark&hbase
- sqoop连接hbase以及spark sql使用
- 基于Hbase的Spark Sql示例 一
- spark hbase hbase-rdd
- Spark Streaming+Spark SQL
- Spark SQL之案例实战(四)
- spark-sql(四)---读写elasticsearch数据
- spark sql
- Spark SQL
- Spark SQL
- spark-sql
- spark sql
- spark sql
- pdo笔记
- addScalar的用法与作用
- windows7局域网文件夹共享
- Leetcode 474. Ones and Zeroes (Medium) (cpp)
- Java核心技术点之多线程
- Spark(四): Spark-sql 读hbase
- Nginx基本功能极速入门
- 阿里淘宝架构学习:聊一聊淘宝首页和它背后的一套
- 摇一摇震动或播放音频案例以及分析详情
- 标签机打印程序研究(二)
- Qt5.7 + VS2015 环境搭建
- struts2的国际化
- Linux下的sort排序命令详解
- 空闲时间学一个Linux命令(14)—— head 命令