使用spark访问elasticsearch的数据
来源:互联网 发布:数据库第六章课后答案 编辑:程序博客网 时间:2024/05/22 07:44
使用spark访问elasticsearch的数据,前提是spark能访问hive,hive能访问es
http://blog.csdn.net/ggz631047367/article/details/50445832
1.配置
cp elasticsearch-hadoop-2.1.1/dist/elasticsearch-hadoop-2.1.1.jar /usr/local/spark-1.5.2/lib/
2.修改配置文件/usr/local/spark/conf/hive-site.xml,添加
<property> <name>hive.aux.jars.path</name> <value>file:///usr/local/spark-1.5.2/lib/elasticsearch-hadoop-2.1.1.jar</value> <description>A comma separated list (with no spaces) of the jar files</description></property>
3.配置/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar,在spark-env.sh添加
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar
4.启动
sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=hadoop-master --master spark://10.8.2.100:7077 --jars /usr/local/spark-1.5.2/lib/elasticsearch-hadoop-2.1.1.jar
或者
bin/spark-sql –master spark://10.8.2.100:7077 –jars /usr/local/spark-1.5.2/lib/elasticsearch-hadoop-2.1.1.jar
5.测试
beeline -u jdbc:hive2://10.8.2.100:10000 (稍等一下执行此命令,报错有可能是服务还没起来)
select count(dtime) from achi_ex limit 10;
注意:–driver-class-path和–jars的区别,使用sbin/start-thriftserver.sh -h查看
如果1中拷贝到所有slave中spark/lib中,后面不用—jars指定jar包
这种方式比直接访问hive中的数据慢一倍左右
0 0
- 使用spark访问elasticsearch的数据
- 使用hive访问elasticsearch的数据
- spark中读取elasticsearch数据
- Spark通过https的方式读取elasticsearch中的数据
- 使用spark与ElasticSearch交互
- 使用Akka来优化Spark+ElasticSearch的准实时系统
- 使用Akka来优化Spark+ElasticSearch的准实时系统
- 通过Elasticsearch使用的你的数据
- spark和elasticsearch的整合
- spark使用hbasefilter访问hbase表数据(封装)
- spark streaming 批量索引数据到 elasticsearch
- Spark Streaming 读取Kafka数据写入Elasticsearch
- spark-sql(四)---读写elasticsearch数据
- 关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题
- Spark SQL读取Hive数据配置及使用Thrift JDBC/ODBC Server访问Spark SQL
- spark sql 访问hive数据时找不mysql的解决方法
- spark sql 访问hive数据时找不mysql的解决方法
- c++ 访问 elasticsearch 的API
- 34.scala编程思想笔记——基于类型的模式匹配
- Linux下安装redis
- 35.scala编程思想笔记——基于case类的模式匹配
- 用正则匹配出一段文章中的img标签
- 36.scala编程思想笔记——简洁性
- 使用spark访问elasticsearch的数据
- Python安装easy_install报错的处理方式
- apache使用fastcgi配置python和php
- 37.scala编程思想笔记——风格拾遗
- VMware+CentOS+Apache+php+python+Django+gunicorn配置
- .NET学习(十一)QA
- 安装apache httpd2.4
- 控制情绪和欲望,宁静致远
- .bashrc 修改