eclipse + maven + scala+spark环境搭建
来源:互联网 发布:php删除相同前缀文件 编辑:程序博客网 时间:2024/06/15 21:54
一、配置eclipse + maven + scala环境
1. 在Eclipse Market中安装Scala IDE、Maven
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160034446-1388840330.png)
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160046540-1365434079.png)
2. 安装m2e-scala(图中的url是:http://alchim31.free.fr/m2e-scala/update-site/)
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160058759-92561471.png)
二、测试eclipse+maven+scala的运行环境
1. 先来简单测试一下eclipse+scala
1)新建一个名为Scala Project,右键工程添加一个名为test的Scala Object,代码如下:
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160112056-1616113805.png)
2)最终如图示:
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160120977-63626349.png)
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160147259-1076392258.png)
3)右键test.scala,Run as…-> Scala Application,在终端成功输出了hello world
2、再来测试一下ecliipse+scala+maven
1) 新建maven工程
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160135852-120305162.png)
如果没有scala这一项,手动添加Archetype.最后点击Finish.新建项目如下图:
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160221102-1205928262.png)
此时创建的工程还不是scala的工程,在项目名称上点击右键
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160234634-1497683833.png)
点击 Add Scala Nature后项目才转换为scala-maven项目
然后pom.xml报下图中的错误,解决办法:在 plugins 的外层加标签
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160259915-770743870.png)
这样maven+scala的项目就成功搭建了。
三、配置spark的本地运行
1. 配置所需依赖包
1)在maven-sample工程的基础上配置spark。只需在poml.xml中添加spark-core。
注意:此处2.11表示scala的版本,1.21表示spark的版本
- <dependency>
- <groupId>org.apache.spark</groupId>
- <artifactId>spark-core_2.11</artifactId>
- <version>1.2.1</version>
- </dependency>
2)在default package中添加scala object – SimpleApp。代码如下:
- /* SimpleApp.scala */
- import org.apache.spark.SparkContext
- import org.apache.spark.SparkContext._
- import org.apache.spark.SparkConf
- object SimpleApp {
- def main(args: Array[String]) {
- val logFile = "test.txt" // Should be some file on your system
- val conf = new SparkConf().setAppName("Simple Application").setMaster("local[2]")
- val sc = new SparkContext(conf)
- val logData = sc.textFile(logFile, 2).cache()
- val numAs = logData.filter(line => line.contains("a")).count()
- val numBs = logData.filter(line => line.contains("b")).count()
- println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
- }
- }
3)Test.txt文件需要在项目文件目录中创建。内容如下:
- a
- b
- c
- ab
- abab
- d
4)右键SimpleApp.scala,Run as -> Scala Application,运行程序,发现报异常。
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160345524-1617474430.png)
该异常解决办法如下:
http://www.srccodes.com/p/article/39/error-util-shell-failed-locate-winutils-binary-hadoop-binary-path
网页中提供了“Build, Install, Configure and Run Apache Hadoop 2.2.0 in MicrosoftWindows OS”的链接,也提供了现成的编译好的包。直接将包下载下来,在工程目录下建立null/bin目录,并将下载包中的所有文件拷贝进了null/bin目录。
![](http://images2015.cnblogs.com/blog/1148262/201704/1148262-20170417160325962-1739435726.png)
5)接下来,再运行SimpleApp程序,就没有异常了。运行结果:
Lines with a: 3, Lines with b: 3
以上就是eclipse + maven + scala+spark环境搭建的所有步骤。
阅读全文
0 0
- Eclipse+maven+scala+spark环境搭建
- Eclipse+maven+scala+spark环境搭建
- eclipse + maven + scala+spark环境搭建
- win7下eclipse+spark+scala+maven环境搭建及实例
- Eclipse搭建Scala+Spark开发环境
- eclipse的maven、Scala环境搭建
- Spark+Scala环境搭建
- 搭建eclipse+maven+scala-ide的scala web开发环境
- eclipse IDEA maven scala spark 搭建 成功运行 sparkContext
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- 分别用Eclipse和IDEA搭建Scala+Spark开发环境
- eclipse 环境搭建-scala
- hadoop spark环境搭建及idea scala maven集成开发spark任务
- Scala学习笔记-1用Eclipse和IDEA搭建Scala+Spark开发环境
- Scala IDE for Eclipse 之spark scala语言开发环境搭建------遇到问题记录
- SPARK--Windows下利用scala for eclipse搭建简易的spark开发环境
- 利用Eclipse构建Spark集成开发环境(包括scala环境的搭建)
- 利用Eclipse构建Spark集成开发环境(包括scala环境的搭建)
- Android SpannableString的使用
- Java开发代码规范之安全规约
- 【Vue】2.vue2.0路由及路由嵌套
- 算法作业系列9——Split Array into Consecutive Subsequences
- 查找两个字符串中的相同的字符位置
- eclipse + maven + scala+spark环境搭建
- centos7.2 rsync+inotify安装使用 实时备份
- C4d win7 64bit安装好之后,点击启动无反应
- STM32F4开发板学习笔记一
- Spark SQL 之 Join 实现
- 图像压缩
- 深度学习之可视化ZFNet-解卷积
- VC++中定时器SetTimer函数的应用总结
- Spring Cloud之Feign调用token丢失