Spark Shell由于Scala编译器原因不能正常启动

来源：互联网发布：网络女主播被骗26万编辑：程序博客网时间：2024/05/21 16:59

最近开始学习spark，在windows上按照官方说明运行命令spark-shell进入到scala版本的spark shell时，出现了下面的问题：

Failed to initialize compiler: object scala.runtime in compiler mirror not found.

** Note that as of 2.8 scala does not assume use of the java classpath.

** For the old behavior pass -usejavacp to scala, or if using a Setting

** object programatically, settings.usejavacp.value = true.

出现这个问题的原因是2.8版本以上的scala将不再默认使用java的classpath.要解决这个问题，很显然，就是要在配置文件中添加使用java classpath的命令。

上网google方法后，终于找到完整可行的解决方案：

修改\bin\spark-class2.cmd文件下的内容(即添加下图中红色部分内容)

保存后，在cmd上运行bin\spark-shell命令，便可切换到scala版本下的shell

于是修改一下\bin\spark-class2.cmd:

rem Set JAVA_OPTS to be able to load native libraries and to set heap size
set JAVA_OPTS=%OUR_JAVA_OPTS% -Djava.library.path=%SPARK_LIBRARY_PATH% -Xms%SPARK_MEM% -Xmx%SPARK_MEM% -Dscala.usejavacp=true

值得一提的是，spark1.1.0版本发行包内的bin下包含很多个calss配置文件，如spark-class、spark-class.cmd、spark-class2.cmd，这3个文件内容不同。我曾尝试在其他两个文件中采用解决方案，但都无效。而至于为什么解决方案需要应用在spark-class2.cmd以及这3个文件到底实现怎样的功能又或者有怎样的联系，有待进一步的研究。

注：上文提到的解决方案，来自http://my.oschina.net/sulliy/blog/217212

0 0