基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
来源:互联网 发布:域名注册局 有哪些 编辑:程序博客网 时间:2024/05/17 04:49
基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
1、Maven管理项目在JavaEE普遍使用,开发Spark项目也不例外,而Scala语言开发Spark项目的首选。因此需要构建Maven-Scala项目来开发Spark项目,本文采用的工具是IntelliJ IDEA 2016,IDEA工具越来越被大家认可,开发Java,Python ,scala 支持都非常好
下载链接 : https://www.jetbrains.com/idea/download/
安装直接下一步即可
2、安装scala插件,File->Settings->Editor->Plugins,搜索scala即可安装
可能由于网络的原因下载不了,可以采取离线安装的方式,例如:
提示下载失败后,根据提示的地址下载离线安装包 http://plugins.jetbrains.com/files/631/24825/python-145.86.zip
在界面选择离线安装即可:
3、创建Maven工程,File->New Project->Maven
选择相应的JDK版本,直接下一步
设定Maven项目的GroupId及ArifactId
创建项目的工程名称,点击完成即可
创建Maven工程完毕,默认是Java的,没关系后面我们再添加scala与spark的依赖
4、修改Maven项目的pom.xml文件,增加scala与spark的依赖
- <?xml version="1.0" encoding="UTF-8"?>
- <project xmlns="http://maven.apache.org/POM/4.0.0"
- xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
- xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
- <modelVersion>4.0.0</modelVersion>
- <groupId>com.ganymede</groupId>
- <artifactId>sparkplatformstudy</artifactId>
- <version>1.0-SNAPSHOT</version>
- <properties>
- <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
- <spark.version>1.6.0</spark.version>
- <scala.version>2.10</scala.version>
- <hadoop.version>2.6.0</hadoop.version>
- </properties>
- <dependencies>
- <dependency>
- <groupId>org.apache.spark</groupId>
- <artifactId>spark-core_${scala.version}</artifactId>
- <version>${spark.version}</version>
- </dependency>
- <dependency>
- <groupId>org.apache.spark</groupId>
- <artifactId>spark-sql_${scala.version}</artifactId>
- <version>${spark.version}</version>
- </dependency>
- <dependency>
- <groupId>org.apache.spark</groupId>
- <artifactId>spark-hive_${scala.version}</artifactId>
- <version>${spark.version}</version>
- </dependency>
- <dependency>
- <groupId>org.apache.spark</groupId>
- <artifactId>spark-streaming_${scala.version}</artifactId>
- <version>${spark.version}</version>
- </dependency>
- <dependency>
- <groupId>org.apache.hadoop</groupId>
- <artifactId>hadoop-client</artifactId>
- <version>2.6.0</version>
- </dependency>
- <dependency>
- <groupId>org.apache.spark</groupId>
- <artifactId>spark-streaming-kafka_${scala.version}</artifactId>
- <version>${spark.version}</version>
- </dependency>
- <dependency>
- <groupId>org.apache.spark</groupId>
- <artifactId>spark-mllib_${scala.version}</artifactId>
- <version>${spark.version}</version>
- </dependency>
- <dependency>
- <groupId>mysql</groupId>
- <artifactId>mysql-connector-java</artifactId>
- <version>5.1.39</version>
- </dependency>
- <dependency>
- <groupId>junit</groupId>
- <artifactId>junit</artifactId>
- <version>4.12</version>
- </dependency>
- </dependencies>
- <!-- maven官方 http://repo1.maven.org/maven2/ 或 http://repo2.maven.org/maven2/ (延迟低一些) -->
- <repositories>
- <repository>
- <id>central</id>
- <name>Maven Repository Switchboard</name>
- <layout>default</layout>
- <url>http://repo2.maven.org/maven2</url>
- <snapshots>
- <enabled>false</enabled>
- </snapshots>
- </repository>
- </repositories>
- <build>
- <sourceDirectory>src/main/scala</sourceDirectory>
- <testSourceDirectory>src/test/scala</testSourceDirectory>
- <plugins>
- <plugin>
- <!-- MAVEN 编译使用的JDK版本 -->
- <groupId>org.apache.maven.plugins</groupId>
- <artifactId>maven-compiler-plugin</artifactId>
- <version>3.3</version>
- <configuration>
- <source>1.7</source>
- <target>1.7</target>
- <encoding>UTF-8</encoding>
- </configuration>
- </plugin>
- </plugins>
- </build>
- </project>
5、删除项目的java目录,新建scala并设置源文件夹
添加scala的SDK
添加scala的SDK成功
6、开发Spark实例
测试案例来自spark官网的mllib例子 http://spark.apache.org/docs/latest/mllib-data-types.html
- import org.apache.spark.{SparkConf, SparkContext}
- /**
- * Created by wuke on 2016/7/5.
- */
- object LoadLibSVMFile extends App{
- import org.apache.spark.mllib.regression.LabeledPoint
- import org.apache.spark.mllib.util.MLUtils
- import org.apache.spark.rdd.RDD
- val conf = new SparkConf().setAppName("LogisticRegressionMail").setMaster("local")
- val sc = new SparkContext(conf)
- val examples: RDD[LabeledPoint] = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")
- println(examples.first)
- }
测试通过
7、打包编译,线上发布
注意选择依赖包
- 基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
- 基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
- 基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
- 基于Intellij IDEA的Spark(Scala)开发
- IntelliJ IDEA构建基于maven的spark+hbase工程(scala语言)
- Learning Spark——使用Intellij Idea开发基于Maven的Spark程序
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- IntelliJ Idea构建Spark(scala)项目
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- idea使用maven构建java和scala项目开发spark
- Idea基于scala语言构建spark开发环境搭建
- IntelliJ IDEA Maven,Eclispe Maven,sbt 创建spark Scala和Java项目
- Intellij IDEA使用Maven管理Scala项目
- IntelliJ IDEA 中创建 Maven Scala 项目
- Intellij Idea创建基于Maven的SpringMVC+MyBatis项目
- Idea基于maven,java语言的spark环境搭建
- IntelliJ IDEA 开发scala
- scala —— maven scala项目开发
- Android属性动画高阶用法-Interpolator,TypeEvaluatory以及贝塞尔曲线公式的使用
- java的第一天
- 判断一个矩阵中是否可以找到一条包含某个String的路径
- opencv(13)---图像滤波
- Xilinx ISE软件 模拟组合逻辑入门
- 基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
- SpringBoot集成Mybatis
- mysql 去除重复记录数据
- 关于bootstrapValidator 表单校验remote出现两次重复提交才能验证通过问题处理
- Java 反射机制
- 关于Android应用程序漏洞的防护措施
- DirectFB 绘图绘字体——对象关系图
- 【程序员段子】公司就需要你这样代码很稳定的员工!
- NSAlert做弹窗