一些spark的相关链接

来源:互联网 发布:海外买淘宝 编辑:程序博客网 时间:2024/05/20 21:19
 http://hackers-duffers.logdown.com/posts/245018-configuring-spark-with-intellij
/sbt/sbt package之后还要执行sbt assembly 才能生成assembly的jar包
运行时出现
java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;错误时请确定spark的编译和执行均使用同一个scala版本,最好都用2.10 
运行时出现

Exception: Could not locate executable null\bin\winutils.exe in the Hadoop
请参照https://issues.apache.org/jira/browse/SPARK-2356的相关做法,下载或编译winutils.exe然后放在一个disk:\folder\bin目录下,然后设置环境变量HADOOP_HOME=disk:\folder
调试参见
http://www.tamabc.com/article/144618.html 

0 0