教你如何在Play框架中加入Spark

来源：互联网发布：android 数据共享方式编辑：程序博客网时间：2024/05/01 21:04

我们以spark sql为实例。

版本：

scala 2.11.7

play 2.4.1

spark 1.4.1

第一步，用activator建立一个空的scala工程（看这篇文章的，建立工程应该没啥问题）

第二步，添加所需要的jar依赖，在项目文件的project里面的Dependenices.scala

import sbt._

object Version {        //version里面包含着我们所需jar包的版本号
val hadoop    = "2.6.0"
val logback   = "1.1.2"
val mockito   = "1.10.19"
val scala     = "2.11.7"
val scalaTest = "2.2.4"
val slf4j     = "1.7.6"
val spark     = "1.4.1"
val Hive      ="1.4.1"
}

object Library { //添加jar依赖
val hadoopClient   = "org.apache.hadoop" % "hadoop-client"   % Version.hadoop
val logbackClassic = "ch.qos.logback"    % "logback-classic" % Version.logback
val mockitoAll     = "org.mockito"       % "mockito-all"     % Version.mockito
val scalaTest      = "org.scalatest"     %% "scalatest"       % Version.scalaTest
val slf4jApi       = "org.slf4j"         % "slf4j-api"       % Version.slf4j
val sparkSQL       = "org.apache.spark" %% "spark-sql" % Version.spark
val sparkHive      ="org.apache.spark" %% "spark-hive" %Version.Hive   //注意这个jar是用来使用spark sql 查询hivehive
}

object Dependencies {
import Library._

val sparkAkkaHadoop = Seq(
    sparkHive,//最后在这里生效，不写就没用的
    sparkSQL,
//    hadoopClient,
    logbackClassic % "test",
    scalaTest      % "test",
    mockitoAll     % "test"
)
}

第三步，配置完成后，进入activator命令，然后compile 下载所需依赖，-——run 这是一个包含spark的play工程就建立完成

0 0