IDEA SPARK SCALA 搭建简单的helloworld
来源:互联网 发布:大学生网络兼职诈骗 编辑:程序博客网 时间:2024/06/08 13:29
新建maven工程:
- 在第一次使用idea时,如下图选择新建工程
- 如下图,选择maven工程,sdk通过new,选择安装的jdk,然后点击next:
- 填写groupid和artifactid
- 项目名根据需要可修改
- import maven
配置工程属性、工程目录、scala库
如下图,左边为项目结构,src 目录下为编写的代码,main为程序代码,test为测试代码。pom.xml文件为maven的打包关联依赖及编译文件
- 设置scalaSDK
点击file –> project Structure,如下图:
- 点击Global Libraries, 然后点击左侧 + ,选择Scala SDK,然后再弹出框中选择2.10.4,弹出框的model选择我们的当前工程;
- 设置scala程序路径
在model –> source 区域,如下图,新建两个scala文件夹,并且,main中的scala文件夹设置为source,test中的scala文件夹设置为test,点击ok完成。
- 修改pom文件,添加spark支持
修改pom文件后,maven会自行下载对应的jar包,以便实现工程库文件依赖。
一般情况下,我们只需要添加scala-library、spark-core、spark-mllib、spark-sql、spark-hive几个就够了,如果涉及到其他内容,则另行添加便可。添加内容如下所所示:<dependencies> <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library --> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.0</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.11 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.11</artifactId> <version>2.1.0</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.1.0</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive_2.11 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.1.0</version> </dependency> </dependencies>
- 添加完后pom文件截图如下所示,maven会自行下载对应库(需要联网),并依赖到工程中。修改完后的pom文件如下所示:
- 工程重新构建完毕后,可以看见maven下载的关联包如下图所示:
编写helloworld
- 在src ->main ->scala 目录下,点击创建scala class
- 在弹出框,名字填写为HelloWord ,类型选择为object,然后点击ok
- 打开新建的程序 helloworld,编写程序如下并保存:
object HelloWord { def main(args: Array[String]) { println("Hello World!"); }}
-右键点击 HelloWord 程序代码,点击 run HelloWord :
- 待编译完成后,执行结果如下图:
0 0
- IDEA SPARK SCALA 搭建简单的helloworld
- idea中scala的helloworld
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- IDEA下用SBT搭建Spark Helloworld
- 2017.10最新Spark、IDEA、Scala环境搭建
- 基于Intellij IDEA的Spark(Scala)开发
- 利用Intellij IDEA构建Spark开发环境(包括scala环境的搭建)
- IDEA搭建spark-scala的sbt编辑环境实现WorldCount练习
- Scala开发环境的搭建和HelloWorld
- 分别用Eclipse和IDEA搭建Scala+Spark开发环境
- Idea基于scala语言构建spark开发环境搭建
- Ubuntu+Spark+IDEA+SBT+scala项目搭建流程记录
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- Spark Scala IntelliJ IDEA开发环境搭建(入门)
- eclipse IDEA maven scala spark 搭建 成功运行 sparkContext
- Scala + Spark +Maven之Helloworld
- Scala学习笔记-1用Eclipse和IDEA搭建Scala+Spark开发环境
- windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)
- spring工具类ClassUtils使用
- eclipse安装maven-Scala插件
- Left Join / Right Join /inner join
- 不需要maven的SSM框架整合
- Spark 开发编译器搭建IDE(IDEA)
- IDEA SPARK SCALA 搭建简单的helloworld
- IDEA MAVEN SPARK SCALA打包办法
- 将博客搬至CSDN
- lonic 安装
- linux oracle 11g安装准备
- 读懂 HTTP/2 特性
- WebView
- 剑指Offer面试题8 & Leetcode153
- Exception in thread "main" java.lang.OutOfMemoryError: Java heap space(Java堆空间内存溢出)解决方法