Spark脚本提交/运行/部署
来源:互联网 发布:js数组实例 编辑:程序博客网 时间:2024/06/06 03:39
本文转载地址:http://blog.csdn.net/sunbow0/article/details/42099331
1、Spark脚本提交/运行/部署
1.1 spark-shell(交互窗口模式)
运行spark-shell需要指向申请资源的standalone spark集群信息,其参数为MASTER,还可以指定executor及driver的内存大小。
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark://192.168.180.216:7077
spark-shell启动完后,可以在交互窗口中输入scala命令,进行操作,其中spark-shell已经默认生成sc对象,可以用:
val user_rdd1 = sc.textFile(inputpath, 10)
读取数据资源等。
1.2 spark-shell(脚本运行模式)
上面方法需要在交互窗口中一条一条的输入scala程序;将scala程序保存在test.scala文件中,可以通过以下命令一次运行该文件中的程序代码:
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark://192.168.180.216:7077 < test.scala
运行后会自动进入spark-shell交互窗口并且运行test.scala中的程序,运行完成后,会自动退出spark-shell。
如果程序退出终端后,linux终端失效,可以试试:stty echo 命令
1.3 spark-submit (程序部署)
Spark提供了一个容易上手的应用程序部署工具bin/spark-submit,可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。可以指定集群资源master,executor/ driver的内存资源等。
sudo spark-submit --masterspark://192.168.180.216:7077 --executor-memory 5g --class mypackage.test workcount.jar hdfs://192.168.180.79:9000/user/input.txt
workcount .scala 代码打包workcount.jar,并将文件需要上传到spark的安装目录下面;
hdfs://192.168.180.79:9000/user/input.txt为输入参数;
转载请注明出处:
http://blog.csdn.net/sunbow0/article/details/42099331- Spark脚本提交/运行/部署
- Spark脚本提交/运行/部署
- spark wordcount 提交运行
- 部署、编译、运行spark
- Launching Applications with spark-submit【使用脚本提交作业到集群5种部署模式--】
- 抛开spark-submit脚本提交spark程序
- Spark提交作业运行过程
- <Spark>Spark容器快速部署脚本
- Spark部署与job运行
- spark部署:在YARN上运行Spark
- Spark集群部署和Job提交思想
- spark-submit提交的shell脚本
- 部署定时运行的脚本
- 运行./bin/spark-submit 提交python脚本报zipimport.ZipImportError: can't decompress data; zlib not available
- IDEA 打jar,提交spark集群运行
- eclipse编写wordcount提交spark运行
- localhost方式提交作业到spark运行
- Spark部署与程序运行示例
- Grails开发环境的快速搭建
- Jni 简单实战 获取c++返回值
- eclipse luna 安装EMF插件
- MFC的工具条和状态栏
- Android-无法隐藏标题栏
- Spark脚本提交/运行/部署
- HTTP的KeepAlive是开启还是关闭?
- 目前开发手机app的几种方式
- 四年了, 一个java程序员的总结
- Android版xx助手之天天酷跑外挂详细分析
- UICollectionView 集合视图 的使用
- 服务器.htaccess 详解以及 .htaccess 参数说明
- WET Dilutes Performance Bottlenecks
- iOS开发怎么注册xib自定义的UITableViewCell