akka spark sbt依赖冲突
来源:互联网 发布:淘宝哪个返利多 编辑:程序博客网 时间:2024/06/14 17:01
打包akka和spark依赖时发生依赖冲突,根据http://www.cnblogs.com/scnu-ly/p/5106726.html的指导受到启发,但是文中的代码已经废弃了,查看官网,修改冲突jar包前缀后的配置文件文件如下:
libraryDependencies += "com.typesafe.akka" %% "akka-actor" % "2.5.0"libraryDependencies += "com.typesafe.akka" %% "akka-remote" % "2.5.0"libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0" //% "provided"libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.0.0" //% "provided"// https://mvnrepository.com/artifact/com.typesafe.akka/akka-protobuf_2.11//libraryDependencies += "com.typesafe.akka" % "akka-protobuf_2.11" % "2.5.0"//libraryDependencies += "com.typesafe.akka" %% "akka-http" % "10.0.1"assemblyMergeStrategy in assembly := { case PathList("org", "apache", xs @ _*) => MergeStrategy.first case PathList("javax", "inject", xs @ _*) => MergeStrategy.first case PathList("org", "aopalliance", xs @ _*) => MergeStrategy.first case PathList(ps@_*) if ps.last endsWith "axiom.xml" => MergeStrategy.filterDistinctLines case PathList(ps@_*) if ps.last endsWith "Log$Logger.class" => MergeStrategy.first case PathList(ps@_*) if ps.last endsWith "ILoggerFactory.class" => MergeStrategy.first case x => val oldStrategy = (assemblyMergeStrategy in assembly).value oldStrategy(x)}
阅读全文
0 0
- akka spark sbt依赖冲突
- SBT构建Akka项目
- SBT构造AKKA环境记录
- SBT 配置依赖打包
- Scala sbt akka Eclipse 环境的配置
- sbt编译spark源码
- Spark sbt-assembly 打包
- Spark之sbt安装
- Spark内部通信/akka
- 使用maven-shade-plugin插件解决spark依赖冲突问题
- ./sbt/sbt assembly 编译spark报错
- sbt下载依赖包问题
- akka actor guice依赖注入
- sbt,scala,spark配置问题
- sbt创建分布式spark任务
- SBT编译spark-redis-master
- ubuntu SBT(Spark)安装
- idea sbt Spark环境搭建
- 企业级旅行App源码、高仿爱鲜蜂源码、iOS Arkit测距源码等
- 图片局部马斯克demo展示
- 【错误记录】
- 02 STM32启动文件的理解
- 用photoshop去掉图片文字
- akka spark sbt依赖冲突
- HTC-VIVE手柄使用代码
- 在服务器上跑java程序
- 本杰明.富兰克林的13条修身计划(中英文对照)
- 分治法--循环赛日程表
- 大数据学习10:HDFS-HA原理和理解
- 大数据量单表在不同表名列名间的数据迁移
- Android权限
- 蓝屏图片分析