本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
来源:互联网 发布:手机淘宝管理评价在哪 编辑:程序博客网 时间:2024/06/11 12:24
打开IDEA 在src下的main下的scala下右击创建一个scala类 名字为SimpleApp ,内容如下
import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobject SimpleApp { def main(args: Array[String]) { val logFile = "/home/spark/opt/spark-1.2.0-bin-hadoop2.4/README.md" // Should be some file on your system val conf = new SparkConf().setAppName("Simple Application") val sc = new SparkContext(conf) val logData = sc.textFile(logFile, 2).cache() val numAs = logData.filter(line => line.contains("a")).count() val numBs = logData.filter(line => line.contains("b")).count() println("Lines with a: %s, Lines with b: %s".format(numAs, numBs)) }}打包文件:
File-->>ProjectStructure -->点击Artificats-->>点击绿色加号 --> 点击JAR-->>选择 From module with dependices
点击Output Layout 看看是否没有第三方jar包,因为你使用spark集群环境,所以你不需要第三方jar包
重新build:
Build-->>Build Artifcat ..--->>build 或者rebuild
执行后 就会在D:\mygit\study-scala\out\artifacts\study_scala_jar目录下看到study-scala.jar
上传到spark集群服务器的 spark_home下的myApp下
上传/home/spark/opt/spark-1.2.0-bin-hadoop2.4/README.md到HDFS中
提交spark任务:
./bin/spark-submit --class "SimpleApp" --master local[4] myApp/study-scala.jar
执行结果为a:60,b:29
转载: http://blog.csdn.net/stark_summer/article/details/42528081
0 0
- 本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
- 本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
- 本地开发spark代码上传spark集群服务并运行
- spark学习7之IDEA下搭建Spark本地编译环境并上传到集群运行
- Spark入门--基于Intellij IDEA开发Spark应用并在集群上运行
- 在IDEA中开发代码,并运行在Spark集群中的问题
- 3-2、Intellij IDEA开发、集群提交运行Spark代码
- Idea中编写并运行Spark集群(WordCount)
- Spark集群运行模式
- Spark-分布式集群运行
- Spark集群运行问题
- 在集群运行spark代码记录程序
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- 基于eclipse maven 开发 spark 集群计算
- eclipse开发spark程序配置本地运行
- spark学习8之eclipse安装scala2.10和spark编译环境并上传到集群运行
- Spark学习之在集群上运行Spark(6)
- Android TextView自动换行文字排版参差不齐的原因
- Spark初体验(2)--WordCount详解
- 推荐系统(三) —— 利用用户行为数据 —— 隐语义模型
- 扫地僧C++视频学习记录
- 1020. 月饼 (25)
- 本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
- 2015世界机器人大会
- 053-23 How can you reverse the effects of an ALTER DISKGROUP … DROP DISK command if it has not yet c
- 对讲机 百度百科
- ads微带双枝短截线长度的解析计算
- 电路中“地”之深究——克服电磁干扰
- 计算机网络---基础题目汇总二
- Android4.4+的短信拦截问题。
- eclipse查看jar包中class的中文注释乱码问题的解决