win10+intelij 开发spark程序(一)

(1)下载安装intelij IDEA.要community那种的.

(2)安装完成后,打开首页,会提示有选择各种不同的插件,为避免麻烦,先默认都选吧(个人按需选择),其中 scala 和sbt 是必须要选择安装的.

(3)新建scala项目,如图:

(4)生成scala项目后,编辑项目根目录下build.sbt:

name := "SBTTest"version := "0.1"scalaVersion := "2.11.8"libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

刷新:

(5)等待sbt下载所需的jar包....大概10分钟

(6)在src目录下新建一个scala文件,比如WordCount.scala

(7)运行程序,run,看下面日志输出..

(8)window平台跟Linux 平台文件系统不一样,因此, scala程序的输入文件路径有区别,比如在linux平台,

val inputFile =  "file:///testdata/user_action.txt"

在window平台:

val inputFile =  "/G:/testdata/user_action.txt"

这个需要注意一下.

window运行成功一般有如下日志:

(9)在linux平台,先改一下输入路径,然后打包陈jar,传到linux运行.前提是spark环境先安装好.