在win上开发scala所遇到的坑

来源:互联网 发布:dts音效软件 编辑:程序博客网 时间:2024/04/30 11:53

原来,自己的项目一直都是在Linux的上面维护的,可是最近由于要进行项目的变更,说白了,自己想要在win的环境下编译spark程序,上面一篇文章有介绍spark的项目在win上面安装的过程,此时,我们来介绍一下我们所踩过的坑。

例如spark1.6.0是基于scala2.10.x的,如果用intellj创建基于scala2.11.x的项目,打包出来的jar包,用spark-submit运行spark任务时,会遇到NoSuchMethodError:scala.Predef$.ArrowAssoc异常

以为我的项目是采用的基于IDEA的pom



前面所说的spark1.6.0是基于scala2.10.x,则我们有理由相信spark的版本为1.6.1,所以才会导致报错,当我把配置文件改为了1.6.0,在运行,就好了





0 0