Coursea Hadoop课堂笔记——Lesson 1: Big Data Hadoop Stack
来源:互联网 发布:淘宝卖家客服电话热线 编辑:程序博客网 时间:2024/06/03 16:40
课后习题
课堂中: Hadoop move computation to data? yes
1.What does SQOOP stand for? (SQOOP代表什么)
Hadoop to SQL
2. What is not part of the basic Hadoop Stack 'Zoo'? (Hadoop栈基本组成)
Pig、Hive、Elephant
3. What is considered to be part of the Apache Basic Hadoop Modules?(Hadoop基本组成)
HDFS、Yarn、MapReduce
4. What are the two major components of the MapReduce layer? (MapReduce层的基本组成)
TaskManager、JobTracker
5.What is Yarn used as an alternative to in Hadoop 2.0 and higher versions?(在HDFS2.0中Yarn用来替代什么)
MapReduce
6.Could you run an existing MapReduce application using Yarn?(能否在Yarn运行现有MapReduce应用)
Yes
7. What are the two basic layers comprising the Hadoop Architecture?(Hadoop结构中两大基本层)
MapReduce and HDFS
8.What are Hadoop advantages over a traditional platform?(Hadoop相较于普通平台优势)
Scalability、Reliability、Flexibility
课堂内容截屏
1. Apache框架基本模块:
Hadoop Common、HDFS、YARN、MapReduce
slave node: 从属节点 Job tracker:工作追踪器 task tracker:任务跟踪器
2.HDFS工作原理
metadata 元数据 replication 响应Rack 齿条
MRV2 (Map Reduce Version 2)与YARN的区别:
YARN并不是下一代MapReduce(MRv2)
(1)下一代MapReduce与第一代MapReduce(MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的。
不同的是资源管理和作业管理系统,MRv1中资源管理和作业管理均是由JobTracker实现的,而MRv2中将这两部分分开了:
作业管理由ApplicationMaster实现;而资源管理由新增系统YARN完成。
(2) 由于YARN的通用性,也可以作为其他计算框架的资源管理系统,不仅限于MapReduce,也是其他计算框架,比如Spark、Storm等。
通常将运行在YARN上的计算框架称为“X on YARN”,比如“MapReduce On YARN”, "Spark On YARN",“Storm On YARN”等。
(3) YARN增强了Hadoop计算集群的效力,增强了伸展性(Scalability)、提升集群利用率、MapReduce兼容性、支持其他工作导入
Apache SQOOP工作原理(斯库扑)
3. Hadoop生态系统主要组成
Cludera是Hadoop数据管理软件与服务提供商
- Coursea Hadoop课堂笔记——Lesson 1: Big Data Hadoop Stack
- Big Data--1, 初识hadoop
- Big Data 及 Hadoop
- Big Data Analytics Beyond Hadoop
- [big data 1] Hadoop 2 .x 伪分布搭建
- Big Data(1): Hadoop, MapReduce and Python in Ubuntu
- Pentaho Work with Big Data(一)—— Kettle连接Hadoop集群
- Pentaho Work with Big Data(三)—— 向Hadoop集群导入数据
- Pentaho Work with Big Data(七)—— 从Hadoop集群抽取数据
- Big Data 2-- 单机配置hadoop
- Hadoop 笔记 1——Hadoop架构
- [Big Data]菜鸟的Hadoop (Before YARN) 学习笔记 (一) WordCount
- Beyond Hadoop: Next-Generation Big Data Architectures(zz)
- "Big Data"- Reporting Over Hadoop using Hive-Intellicus 5.2
- An introduction to Apache Hadoop for big data
- 【Big Data】HADOOP集群的配置(二)
- Hadoop学习笔记(1)——初识Hadoop
- hadoop—视频笔记
- 使用单指针实现双链表(C++语言)
- swift常用字符串处理
- 浏览器环境下JavaScript脚本加载与执行探析之defer与async特性
- Javascript图片预加载详解
- 全面解析Linux 内核 3.10.x - initramfs 启动流程
- Coursea Hadoop课堂笔记——Lesson 1: Big Data Hadoop Stack
- android 获取apk md5值
- android初接触之service1
- EditText 的inputType属性
- spark和scala插件中scala版本不同
- 什么时候想放弃了,可以看看这些
- mysql单表查询
- 【Java数据结构】线性表
- 全面解析Linux 内核 3.10.x - 启动1号进程