spark-2017.06.08

1. spark不能通过hdfs:///zqj/kddcup.data10路径找到文件资源，

 解决方法：val rawData=sc.textFile("hdfs://10.141.208.43:9000/zqj/kddcup.data10") 写上hadoop,namenode的地址

2.Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes 

java.lang.SecurityException: Invalid signature file digest for Manifest main attributes

打开META-INF目录，将*.SF,*.DSA,*.RSA文件删除，即可。应为有些包有签名，导致错误。

此问题，可以参考下面的连接，这位大神比较详细，http://www.cnblogs.com/fuxinci/p/3356087.html，（如有侵权请告知，会删除，谢谢！）。

3.获取hdfs上面文件的地址

val HDFS_DATA_PATH="hdfs://10.141.208.43:9000/zqj/kddcup.data10"

可以查看hdfs的配置文件获得。注意端口号别写错 50070是webui的地址