spark程序的运行过程
来源:互联网 发布:浙江网络作家协会主席 编辑:程序博客网 时间:2024/06/05 08:44
1.先通过idea获得程序打包后的jar
2.进入spark的安装目录,
启动master: ./sbin/start-master.sh
打开浏览器,输入http://localhost:8080/
启动worker: ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://1598007611deMacBook-Air.local:7077
可以发现两个端口的地址是相同的,这是spark严格的规范
可以看到work已经成功的跑起来了!
可以在4040端口查看job进度:
接下来执行提交命令,将打好的jar包上传到linux目录,jar包在项目目录下的out\artifacts下。
提交作业: ./bin/spark-submit --master spark://localhost:7077 --class WordCount /home/lucy/learnspark.jar
阅读全文
0 0
- spark程序的运行过程
- 程序的运行过程
- Spark standalone下的运行过程
- spark-mesos运行自己编译的程序
- 运行python版本的Spark程序
- spark运行简单的demo程序
- C#程序的运行过程
- apk程序的运行过程
- 窗口程序的运行过程
- ios程序的运行过程
- apk程序的运行过程
- APK程序的运行过程
- Flex程序的运行过程
- apk程序的运行过程
- x86程序的运行过程
- java程序的运行过程
- APK程序的运行过程
- Java程序的运行过程
- 机器学习基本概念(3)--线性模型概述
- java类库---RunTime类
- IDEA使用攻略-设置篇
- while,shift,until,case
- 分组 (并查集)
- spark程序的运行过程
- 数学知识
- C#批量修改文件名
- .NET简谈组件程序设计之(异步委托)
- Android--Notification基础介绍
- 深度学习之基础网络-SqueezeNet
- 669. Trim a Binary Search Tree
- python 匿名函数 lambda
- ORM框架理解