spark-submit local本地运行问题
来源:互联网 发布:排序算法总结 java 编辑:程序博客网 时间:2024/06/04 17:58
求大神解答,或者我们来讨论下!今天碰到一个很奇怪的问题,关于spark-submit 三种运行模式:
(1)本地local模式
(2)在Hadoop YARN-client模式
(3)Standalone Cluster模式
1 问题描述
首先说明一下我的集群,一个master节点和两个slave节点,slave1和slave2。
我一直在master节点上练习spark-submit三种模式。运行的列子就是统计单词的个数。
首先我运行的spark-submit的local模式,可以成功,并且成功的写入了Linux下制定的输出目录,然后在Hadoop YARN-client模式下运行,成功的写入了HDFS目录下,最后在Stand alone Cluster模式下也成功运行,但是问题来了,我再次在master节点上运行本地模式,输出的结果写到了HDFS下,我明明制定了本地运行模式,而且代码里写的输出路径为Linux路径,不是HDFS路径,为什么没有写入Linux目录下呢?
此时,我在slave1节点和slave2节点运行本地模式,都成功的写进了Linux目录下,并没有写入HDFS目录下。
我再次运行本地模式,说目录已存在,但是Linux目录下没有,我就把HDFS下的目录删掉,然后运行。
说明:Linux目录和HDFS目录名一样,开始写代码的时候没注意,发现最后一模一样,这样不知道到底写到了哪里,应该注意的。
然后查看Linux目录下是否有输出文件,发现没有。然后我在HDFS目录下查看,确实输出到了HDFS目录下。
下面是slave1节点运行本地模式信息
可以看出slave1成功运行本地模式,并输出到制定Linux目录
下面是slave2运行本地模式信息
可以看出slave2成功运行本地模式,并输出到制定Linux目录 。
2运行代码
object RunWordCount { def main(args: Array[String]): Unit = { Logger.getLogger("org").setLevel(Level.OFF) System.setProperty("spark.ui.showConsoleProgress","false") println("开始运行RunWordCount") val sc = new SparkContext(new SparkConf().setAppName("wordCount").setMaster("local[4]")) println("开始读取文本文件") val textFile = sc.textFile("/root/test/LICENSE.txt") println("开始创建RDD....") val countsRDD = textFile.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_) println(countsRDD) println("开始保存到文本文件") try{ countsRDD.saveAsTextFile("/root/test/output2") println("已经存盘成功") }catch { case e:Exception => println("输出目录已经存在,请先删除原有目录") } }}
3解决方法
输出的时候写上 file就可以解决了,会写到Linux下。- spark-submit local本地运行问题
- spark-submit 运行参数问题记录
- spark 本地调试运行WordCount(java版local模式)
- 一个诡异的spark-submit运行问题(已解决)
- 小问题可能存在大问题,希望大神帮忙解答。Spark本地运行模式中单线程与多线程问题之setMaster("local")可以运行,但是设置成setMaster("local[3]")或setMaste
- spark实例:用spark-submit运行spark程序
- 后台运行spark-submit命令的方法
- spark submit 运行开发的应用程序
- spark-submit运行jar包脚本命令
- ./spark-submit --class Test --master spark://localhost:7077 /usr/local/aa.jar
- spark-submit
- spark-submit
- spark-submit
- spark-submit
- spark-submit
- spark-submit
- spark设置本地运行模式
- Spark 之 spark submit
- AngularJS的ng-show标签
- Jmeter 线程之间传递变量
- numpy一些用法
- 设置修改CentOS系统时区
- 【LeetCode】17. Letter Combinations of a Phone Number
- spark-submit local本地运行问题
- rem与em区别
- git中ssh-keygen 中生成的 randomart image 用java的实现
- ldr加载指令,ldr伪指令
- Android studio 中的单元测试
- BufferedWriter写int型数据
- NSTimer 销毁问题
- 模型融合
- PAT 1005 Spell It Right(简单输出)