spark-submit提交kafka测试
来源:互联网 发布:javascript 定时刷新 编辑:程序博客网 时间:2024/05/16 06:08
spark-submit --jars /home/aus/spark/lib/spark-streaming-kafka_2.10-1.0.0.jar,/home/aus/spark/lib/kafka_2.8.0-0.8.1.jar --master spark://10.21.17.202:7074 --class KafkaWordCount /home/aus/spark/data/SparkTest.jar
10.21.17.202上测试spark程序:
接kafka 需要引入两个jar 一个是spark-streaming-kafka_2.10-1.2.0.jar 还有一个是kafka_2.8.0-0.8.1.jar
方法一:–jars方式引入 (我用的这个方法成功)
方法二:(待验证)
把如下包放到一个目录下,然后在spark-default.conf下加如:
spark.jars /opt/spark-1.3.0/libs/kafka_2.10-0.8.1.1.jar,/opt/spark-1.3.0/libs/spark-streaming-kafka_2.10-1.3.0.jar,/opt/spark-1.3.0/libs/jopt-simple-3.2.jar,/opt/spark-1.3.0/libs/zkclient-0.3.jar,/opt/spark-1.3.0/libs/metrics-annotation-2.2.0.jar,/opt/spark-1.3.0/libs/metrics-core-2.2.0.jar
spark.jars /opt/spark-1.3.0/libs/kafka_2.10-0.8.1.1.jar,/opt/spark-1.3.0/libs/spark-streaming-kafka_2.10-1.3.0.jar,/opt/spark-1.3.0/libs/jopt-simple-3.2.jar,/opt/spark-1.3.0/libs/zkclient-0.3.jar,/opt/spark-1.3.0/libs/metrics-annotation-2.2.0.jar,/opt/spark-1.3.0/libs/metrics-core-2.2.0.jar
注意:
运行时发现java.lang.NoClassDefFoundError: scala/Tuple2$mcLL$sp,原来是scala的版本跟kafka的版本不一致所导致。
kafka官网对应表说明如下:
0 0
- spark-submit提交kafka测试
- spark-submit提交参数设置
- spark-submit提交模式
- 提交spark应用程序spark-submit
- spark-submit提交集群命令
- 抛开spark-submit脚本提交spark程序
- Spark应用提交指南(spark-submit)
- 【Spark系列6】spark submit提交任务
- Spark-submit提交任务到集群
- spark-submit 提交作业到集群
- spark-submit提交任务的方式
- spark-submit提交的shell脚本
- spark-submit提交任务到集群-案例
- spark-submit提交任务到集群
- spark-submit提交任务的方式
- Spark源码系列(一)spark-submit提交作业过程
- spark之13:提交应用的方法(spark-submit)
- other: Spark-shell和Spark-submit提交程序的区别
- 生成中奖文字图片
- SODBASE CEP学习进阶篇(六):实现反压和流限速
- 解决Server2008下远程桌面连接“由于没有终端服务器许可证服务器可以提供许可证”
- 计蒜客 难题题库 206 通道划分
- set和get方法
- spark-submit提交kafka测试
- 递归
- 友元函数、友元类、访问私有数据成员、友元关系
- SQL语句select from where group by having order by 顺序
- Buildroot用户指南
- iOS多线程编程之NSThread的使用
- Android Data Binding简单介绍
- 计蒜客 难题题库 207 传球游戏
- AspectJ cglib jdk动态代理