运行Spark提供的计算圆周率的示例程序
来源:互联网 发布:python 黑帽子 笔记 编辑:程序博客网 时间:2024/05/20 17:59
1、启动Spark服务
因为spark是依赖于hadoop提供的分布式文件系统的,所以在启动spark之前,先确保hadoop在正常运行。
在hadoop正常运行的情况下,在master(也就是hadoop的namenode,spark的marster节点)上执行命令:
cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin
执行启动脚本
./start-all.sh
2、计算圆周率
这里只是简单的用local模式运行一个计算圆周率的Demo。按照下面的步骤来操作。
第一步,进入到Spark的根目录,也就是执行下面的脚本:
cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7
第二步,调用Spark自带的计算圆周率的Demo,执行下面的命令:
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.1.jar
命令执行后,spark示例程序已经开始执行
如图:
注意:上面只是使用了单机本地模式调用Demo,使用集群模式运行Demo,请参考该博文
http://blog.csdn.net/pucao_cug/article/details/72453382
阅读全文
0 0
- 运行Spark提供的计算圆周率的示例程序
- 计算圆周率的C程序
- 利用spark进行圆周率的计算
- Jason Chen的计算圆周率的程序
- 计算圆周率的C++程序(30000位)
- 计算圆周率的最短C程序
- 程序计算精确圆周率Pai的方法
- 运行示例sparkPi计算圆周率(1.1)
- 圆周率的计算
- 圆周率的计算公式
- 用蒙特卡罗方法计算圆周率的近似值,java程序
- 圆周率π的计算历程
- VB计算圆周率的方法
- 圆周率π的计算历程
- spark程序的运行过程
- Spark2.1.1中用各种模式运行计算圆周率的官方Demo
- 用Machin公式计算圆周率的源程序
- 圆周率计算的几点体会
- android:ellipsize
- QT实现点击按钮出现信号
- TrickGCD————(hdu6053)2017多校(莫比乌斯容斥)
- Coursera机器学习笔记(week1)
- 查询数据库中字段不为空的数据
- 运行Spark提供的计算圆周率的示例程序
- Android主页动态添加Fragment
- LightOJ1214 Large Division
- HDU 5724 Chess (状压+sg)
- JQuery基本选择器
- CWorkBooks、CWorkBook、CWorkSheets、CWorkSheet、CRange简介
- java初识 | eclipse和jdk的下载与安装、环境变量的配置(win10)
- Qt开发: 获取系统日期
- RecyclerView的加载更多的简单思路