阿里云创建E-MapReduce 1 快速开始
来源:互联网 发布:印度it为何这么强 知乎 编辑:程序博客网 时间:2024/06/05 22:51
注意:请确认您已经完成了必选的准备工作。
通过本教程,用户能够基本了解E-MapReduce中集群、作业和执行计划的作用和使用方法。能够创建一个Spark Pi的作业在集群上运行成功,并最后在控制台页面上看到圆周率Pi的近似计算结果。
1.创建集群
在控制台左侧选择集群,并点击右上创建集群
软件配置
选择最新的EMR产品版本,比如EMR-3.4.1
使用默认软件配置
硬件配置
选择按量付费
若没有安全组,打开新建,并填写安全组名称
选择 Master 4核8G
选择 Core 4核8G, 两台
其他保持默认
基础配置
填写集群名称
选择日志路径保存作业日志,务必开启。在集群对应的地域,创建OSS的Bucket
填写密码
创建集群
2.创建作业
在控制台左侧选择作业,并点击右上创建作业
填写作业名称
选择Spark类型
参数填写,使用如下
--class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar 10
注意:,这个/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar,
需要根据实际集群中的 Spark 版本来修改这个jar包,比如 Spark 是2.1.1的, 那么就是spark-examples_2.11-2.1.1.jar
,如果是2.2.0的,那么就是spark-examples_2.11-2.2.0.jar
其他保持默认,创建作业
3.创建执行计划
确认之前创建的集群已经创建成功以后,在列表上的状态显示为空闲
在控制台左侧选择执行计划,并点击右上创建执行计划
创建时选择已有集群,并选择之前创建集群进行关联
将之前创建的作业,加入到运行队列中
填写执行计划名称
默认手动执行
创建执行计划
运行执行计划
在执行计划列表页面,点击立即运行
查看作业日志并确认结果
点击管理,进入管理页面,在下方查看运行记录
点击运行记录的右侧,查看作业列表
点击stdout能够查看到Pi的近似计算结果:3.14xxxx
原文链接
- 阿里云创建E-MapReduce 1 快速开始
- 快速掌握阿里云 E-MapReduce
- 快速掌握阿里云 E-MapReduce
- 使用阿里云E-MapReduce遇到的那些坑
- 开源深度学习库BigDL在阿里云E-MapReduce上的实践
- E-MapReduce HDFS文件快速CRC校验工具介绍
- E-MapReduce上Hive创建基于oss的外部表
- Lucene 实战:快速开始 创建索引
- Lucene 实战:快速开始 创建索引
- Lucene 实战:快速开始 创建索引
- 阿里封神谈hadoop学习之路 封神 2016-04-14 16:03:51 浏览3283 评论3 发表于: 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 spark
- O_board-1-快速开始
- aliyun E-MapReduce 使用指南
- 阿里云服务器创建VPN
- Dubbo 学习1 快速开始
- mapreduce-从wordcount开始
- 阿里云快速挂载硬盘教程
- 快速使用阿里云的maven仓库
- artTemplate的使用总结
- 点击率预测算法:FTRL
- Vue.js和MVVM小细节
- 有兴趣的进来
- 将微信公众号的文章保存到本地pdf
- 阿里云创建E-MapReduce 1 快速开始
- Android espresso-web等待网页元素方法
- cat /proc/net/dev 查询网口状况
- 关于spring在controller层的事务操作
- python中的join和split
- hud 1874畅通工程续(6种写法,复习各种最短路)
- 再搞SQLServer添加Oracle链接服务器
- C#Winform调用libEasyPlayer总结
- Linux CentOS 6.6安装JDK1.7