本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
来源:互联网 发布:网络接线盒 编辑:程序博客网 时间:2024/06/05 13:28
打开IDEA 在src下的main下的scala下右击创建一个scala类 名字为SimpleApp ,内容如下
import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobject SimpleApp { def main(args: Array[String]) { val logFile = "/home/spark/opt/spark-1.2.0-bin-hadoop2.4/README.md" // Should be some file on your system val conf = new SparkConf().setAppName("Simple Application") val sc = new SparkContext(conf) val logData = sc.textFile(logFile, 2).cache() val numAs = logData.filter(line => line.contains("a")).count() val numBs = logData.filter(line => line.contains("b")).count() println("Lines with a: %s, Lines with b: %s".format(numAs, numBs)) }}打包文件:
File-->>ProjectStructure -->点击Artificats-->>点击绿色加号 --> 点击JAR-->>选择 From module with dependices
点击Output Layout 看看是否没有第三方jar包,因为你使用spark集群环境,所以你不需要第三方jar包
重新build:
Build-->>Build Artifcat ..--->>build 或者rebuild
执行后 就会在D:\mygit\study-scala\out\artifacts\study_scala_jar目录下看到study-scala.jar
上传到spark集群服务器的 spark_home下的myApp下
上传/home/spark/opt/spark-1.2.0-bin-hadoop2.4/README.md到HDFS中
提交spark任务:
./bin/spark-submit --class "SimpleApp" --master local[4] myApp/study-scala.jar
执行结果为a:60,b:29
1 0
- 本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
- 本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
- 本地开发spark代码上传spark集群服务并运行
- spark学习7之IDEA下搭建Spark本地编译环境并上传到集群运行
- Spark入门--基于Intellij IDEA开发Spark应用并在集群上运行
- 在IDEA中开发代码,并运行在Spark集群中的问题
- 3-2、Intellij IDEA开发、集群提交运行Spark代码
- Idea中编写并运行Spark集群(WordCount)
- Spark集群运行模式
- Spark-分布式集群运行
- Spark集群运行问题
- 在集群运行spark代码记录程序
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- 基于eclipse maven 开发 spark 集群计算
- eclipse开发spark程序配置本地运行
- spark学习8之eclipse安装scala2.10和spark编译环境并上传到集群运行
- Spark学习之在集群上运行Spark(6)
- MFC快捷键
- GO语言反射机制
- MyBatis指定JdbcType
- Linux必学的60个命令
- SIFT 特征提取算法总结
- 本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
- java解惑之字符之谜(谜题14)
- android handler的警告Handler Class Should be Static or Leaks Occur
- jQuery 动态绑定的方法多次执行的解决jQuery(document).on(
- 笔记:Hadoop权威指南 第3章 HDFS
- 工作日志
- Android相关问题的好文章整理——温故而知新,可以为师矣
- Tachyon 的 安装部署
- hdu 2153 仙人球的残影新解法(可以利用蛇阵来解决哦!)