快速掌握阿里云 E-MapReduce
来源:互联网 发布:维多利亚2新手国家知乎 编辑:程序博客网 时间:2024/06/05 08:06
阿里云 Elastic MapReduce(E-MapReduce) 是一种大数据处理的系统解决方案。构建于阿里云云服务器 ECS 上,基于开源的 Apache Hadoop 和 Apache Spark,让用户可以方便地使用Hadoop和Spark生态系统中的其他周边系统(如 Apache Hive、Apache Pig、HBase 等)来分析和处理自己的数据。用户还可以通过E-MapReduce将数据非常方便的导入和导出到阿里云其他的云数据存储系统和数据库系统中,如阿里云 OSS、阿里云 RDS 等。
E-MapReduce 的用途
当用户想要使用 Hadoop、Spark 等分布式处理系统的时候,通常需要经历如下的步骤:
- 评估业务特点
- 选择机器类型
- 采购机器
- 准备硬件环境
- 安装操作系统
- 部署 Hadoop 和 Spark 等 app
- 启动集群
- 编写应用程序
- 运行作业
- 获取数据等一系列的步骤
在这些流程中,真正跟用户的应用逻辑相关的是从第8步才开始,第1-7步的各项工作都是前期的准备工作,通常这个前期工作都非常冗长繁琐。而 E-MapReduce 提供了集群管理工具的集成解决方案,如主机选型、环境部署、集群搭建、集群配置、集群运行、作业配置、作业运行、集群管理、性能监控等。
通过使用 E-MapReduce,用户可以从集群构建各种繁琐的采购、准备、运维等工作中解放出来,只关心自己应用程序的处理逻辑即可。此外,E-MapReduce 还给用户提供了灵活的搭配组合方式,用户可以根据自己的业务特点选择不同的集群服务。例如,如果用户的需求是对数据进行日常统计和简单的批量运算,则可以只选择在 E-MapReduce 中运行 Hadoop 服务;而如果用户还需要流式计算和实时计算的需求,则可以在 Hadoop 服务基础上再加入 Spark 服务。
E-MapReduce 的组成
E-MapReduce 最核心也是用户直接面对的组件是集群。一个 E-MapReduce 集群是由一个或多个阿里云 ECS instance 组成的 Hadoop 和 Spark 集群。以 Hadoop 为例,在每一个 ECS instance 上,通常都运行了一些 daemon 进程(如 namenode、datanode、resoucemanager 和 nodemanager),这些 daemon 进程就组成了 Hadoop 集群。运行 namenode 和 resourcemanager 的节点被称为 master 节点,而运行 datanode 和 nodemanager 的节点被称为 slave 节点。
教学课程:阿里云 E-MapReduce学习
(课程主要介绍阿里云 E-MapReduce 的使用方法)
教学大纲
教学课时
课时1:E-Mapreduce基本介绍 13:52
课时2:E-Mapreduce基本介绍(PPT)
课时3:E-Mapreduce数据同步 13:12
课时4:E-Mapreduce数据同步(PPT)
课时5:E-Mapreduce离线处理 15:47
课时6:E-Mapreduce离线处理(PPT)
课时7:E-Mapreduce流式处理 15:38
课时8:E-Mapreduce流式处理(PPT)
课程目标
- 掌握E-MapReduce的用法
适合人群
- 大数据工程师
阿里云大学官网(阿里云大学 - 官方网站,云生态下的创新人才工场)
- 快速掌握阿里云 E-MapReduce
- 快速掌握阿里云 E-MapReduce
- 阿里云创建E-MapReduce 1 快速开始
- 使用阿里云E-MapReduce遇到的那些坑
- 开源深度学习库BigDL在阿里云E-MapReduce上的实践
- E-MapReduce HDFS文件快速CRC校验工具介绍
- 阿里封神谈hadoop学习之路 封神 2016-04-14 16:03:51 浏览3283 评论3 发表于: 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 spark
- aliyun E-MapReduce 使用指南
- 一文掌握阿里云“云通信”产品
- 一分钟掌握阿里云ECS弹性计算所有产品
- 一文掌握阿里云“域名与网站”产品
- 阿里云快速挂载硬盘教程
- 快速使用阿里云的maven仓库
- CentOS7 yum源 快速转 阿里云
- 阿里云快速搭建一个静态网站
- 阿里云函数计算快速入门
- E企播报:阿里云纵深,万达云尴尬
- 快速掌握Linux
- 11.13第九节课
- sql批量更新的一个小坑
- ubuntu (linux) 开发者初始化要做的第K件事
- 《用python进行数据分析》语法要点总结(1)
- 忍让
- 快速掌握阿里云 E-MapReduce
- 2017-11-08
- c语言强制转换数据类型
- 为RecyclerView添加item的点击事件
- Android探索之旅(第二十三篇)Android中集成Tinker热修复及所碰到的坑
- Codeforces Round #445 (Div. 2): D. Restoration of string(模拟)
- 全球爆发的“恶意清除软件”攻击毁坏了大量的数据
- maven报错有重复类
- jsp 显示页面时间