Spark Standalone模式应用程序开发
来源:互联网 发布:杭州哪里程序员多 编辑:程序博客网 时间:2024/05/10 22:11
作者:过往记忆 | 新浪微博:左手牵右手TEL |
可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
博客地址:http://www.iteblog.com/
文章标题:《Spark Standalone模式应用程序开发》
本文链接:http://www.iteblog.com/archives/1041
Hadoop、Hive、Hbase、Flume等QQ交流群:138615359(已满),请加入新群:149892483
本博客的微信公共帐号为:iteblog_hadoop,欢迎大家关注。
如果你觉得本文对你有帮助,不妨分享一次,你的每次支持,都是对我最大的鼓励
欢迎关注微信公共帐号
可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
博客地址:http://www.iteblog.com/
文章标题:《Spark Standalone模式应用程序开发》
本文链接:http://www.iteblog.com/archives/1041
Hadoop、Hive、Hbase、Flume等QQ交流群:138615359(已满),请加入新群:149892483
本博客的微信公共帐号为:iteblog_hadoop,欢迎大家关注。
如果你觉得本文对你有帮助,不妨分享一次,你的每次支持,都是对我最大的鼓励
欢迎关注微信公共帐号
在本博客的《Spark快速入门指南(Quick Start Spark)》文章中简单地介绍了如何通过Spark shell来快速地运用API。本文将介绍如何快速地利用Spark提供的API开发Standalone模式的应用程序。Spark支持三种程序语言的开发:Scala (利用SBT进行编译), Java (利用Maven进行编译)以及Python。下面我将分别用Scala、Java和Python开发同样功能的程序:
一、Scala版本:
程序如下:
为了编译这个文件,需要创建一个xxx.sbt文件,这个文件类似于pom.xml文件,这里我们创建一个scala.sbt文件,内容如下:
编译:
二、Java版本
本程序分别统计README.md文件中包含a和b的行数。本项目的pom.xml文件内容如下:
利用Maven来编译这个工程:
三、Python版本
四、测试运行
本程序的程序环境是Spark 1.0.0,单机模式,测试如下:
1、测试Scala版本的程序
2、测试Java版本的程序
3、测试Python版本的程序
本文地址:《Spark Standalone模式应用程序开发》:http://www.iteblog.com/archives/1041,过往记忆,大量关于Hadoop、Spark等个人原创技术博客本博客文章除特别声明,全部都是原创!
尊重原创,转载请注明: 转载自过往记忆(http://www.iteblog.com/)
本文链接地址: 《Spark Standalone模式应用程序开发》(http://www.iteblog.com/archives/1041)
E-mail:wyphao.2007@163.com
1 10
- Spark Standalone模式应用程序开发
- Spark Standalone模式应用程序开发
- Spark开发-Standalone模式
- 在myeclipse中使用Java语言进行spark Standalone模式应用程序开发
- spark standalone模式配置
- Spark standalone模式安装
- Spark Standalone模式
- 安装spark - standalone模式
- Spark Standalone模式部署
- spark standalone&&yarn模式
- Spark Standalone模式搭建
- spark standalone模式 zeppelin安装
- 005-spark standalone模式安装
- Spark Standalone完全分布模式
- spark+hadoop Standalone模式 搭建
- Spark -5:Standalone 集群模式
- spark standalone模式 环境搭建
- spark环境搭建--Standalone模式
- centos6.5下安装php+mysql+apache并整合的具体流程
- 67_leetcode_Same Tree
- Android4.2蓝牙基础架构学习
- javascript常用功能
- caffe源码分析--softmax_layer.cpp
- Spark Standalone模式应用程序开发
- 电子商务网站支付功能开发总结
- Codility3 PermMissingElem
- 学习linux/unix编程方法的建议学习路径
- java MD5加密
- Android中 Styles和Themes
- iPhone 6支持移动支付:内置NFC芯片
- Tekever 传值的方法
- [Android Bug] ListView中Header, Footer无法隐藏(gone)的问题