Spark快速入门之单机模式Java应用程序开发
来源:互联网 发布:android 监听有线网络 编辑:程序博客网 时间:2024/06/06 09:47
http://blog.sina.com.cn/s/blog_59c29ded0102v4i7.html
本文旨在记录初学Spark时,根据官网快速入门中的一段Java代码,在Maven上建立应用程序并实现执行。
1.开发软件
1) JDK 版本:1.7
2) Maven 版本:3.2.3 : http://maven.apache.org/
3) Spark 版本:spark-1.1.0 http://spark.apache.org/
2.前提工作:
1) 电脑上安装并配置好了JDK
2) 电脑上安装并配置好了Maven
3) 电脑上安装了Spark-1.1.0-bin-hadoop1
3.建立Maven应用程序
1) 打开cmd,进入要创建应用程序的根目录,输入: mvn archetype:generate
mvn会从远程”中央仓库”下载一些必需的文件到”本地仓库”,下载完成后,将进入交互模式,要求用户输 入项目信息。
Spark快速入门之单机模式Java应用程序开发
其中,groupId可理解为机构,artifactId将为创建的项目名,version采用默认,package为java运行代码所属的包。
输入确认后,将生成项目模板。
2)进入项目src->main文件夹下,找到创建的App.java文件,添加需要的代码:
3) 打开项目下的pom.xml,添加spark依赖
4.编译应用程序
进入项目,运行mvn compile,编译代码
5.打包程序
运行mvn package,系统将自动将应用程序代码打包成jar。运行成功后,在项目文件夹下的target文件夹下,将生成名为SimApp-1.0-SNAPSHOT.jar。
6.运行程序:使用spark-submit在本地运行应用
在cmd中输入 spark文件包bin下spark-submit文件所在的路径, 类名(加上包名),jar包所在的路径
D:\Spark_Tools\apache-maven-3.2.3\Maven_Project\SimApp>d:\Spark_Tools\spark-1.1.
0-bin-hadoop1\bin\spark-submit –class “dms.SimApp” –master local[4] target\Sim
App-1.0-SNAPSHOT.jar
在输出信息的最后一行,将看到程序的运行结果:
该程序的主要功能是统计D:/Spark_Tools/spark-1.1.0/文件夹下README.md文件中出现a、b的行数。
- Spark快速入门之单机模式Java应用程序开发
- spark eclipse开发调试 本地单机模式
- Spark Standalone模式应用程序开发
- Spark Standalone模式应用程序开发
- spark之1:快速入门
- Spark 之 快速入门指南
- spark之1:快速入门
- DirectSound应用程序开发快速入门
- DirectSound应用程序开发快速入门
- Directsound应用程序开发快速入门
- Directsound应用程序开发快速入门
- spark 单机模式配置
- spark 单机模式
- Spark单机模式搭建
- 离线轻量级大数据平台Spark之单机部署及Java开发
- spark初探--单机快速安装
- hadoop单机快速入门
- java应用程序开发,spark,im开发插件
- 在做日本方面项目的感受
- ios-day17-01(UIView的拖拽(跟随手指移动))
- hdu 5195 DZY Loves Topological Sorting
- windows上安装oracle 12c到69%时卡住不动解决方案
- SQL的主键和外键约束
- Spark快速入门之单机模式Java应用程序开发
- Context中获取屏幕尺寸的2种方法
- 安装安卓开发工具NDK时出现 failed to load the jni shared library "E:\Program Files\java\jdk1.7.0_15\bin..\jre\bi
- MATLAB批量标注legend
- 第三周项目1-三角形类1
- sdn的简单总结
- 分布式-CAP与ACID原则
- 取球游戏——第三届蓝桥杯省赛C语言A组第10题
- Redis笔记(二)主从复制