利用eclipse构建spark集成开发环境

前一阵利用eclipse构建spark集成开发环境，遇到了一些问题，将遇到的问题和解决方法跟大家分享下~

问题一：在用eclipse构建spark的过程中，在eclipse中创建了Map/ReduceProject,导入了spark,scala的jar包，但是出现了各种ClassNotDefError这种错误。原因是jar包依存关系比较复杂，缺少相关的jar包。

问题二：董西成的博客中说利用eclipse遇到的问题比较多，利用IntellijIDEA构建开发环境会比较顺利，按照他的博客（http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/）实践了，但是还是遇到和问题一同样的问题。得出的一个结论是：出过书的人说的也不一定全对。

最终是通过maven解决的。解决的方法如下：

1.用eclipse创建maven项目

2.在pom.xml中添加依存的jar包信息

3.编写代码

 

1.用eclipse创建maven项目，File/New/Project 会弹出如下图所示的窗口，选择MavenProject

然后，点next

按下图的操作，

输入groupId，artifactid，点击Finish。

通过以上步骤就创建了一个maven项目，创建成功后，在eclipse左侧会出现刚创建的项目。项目结构如下：

2.在pom.xml中添加需要的jar包的依存信息。双击上图最下方的pom.xml,打开后如下图所示

然后选择下方的pom.xml标签，在该文件中添加依存信息。spark需要的依存信息如下：

3. 之后，按需要编写java代码即可。