hadoop面试题
来源:互联网 发布:淘宝 画伊旗舰店 moco 编辑:程序博客网 时间:2024/04/29 17:48
1.什么是hadoop
答:是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理。
hadoop的核心主要包含:HDFS和MapReduce
HDFS是分布式文件系统,用于分布式存储海量数据。
MapReduce是分布式数据处理模型,本质是并行处理。
2.用hadoop来做什么?
1、最简单的,做个数据备份/文件归档的地方,这利用了hadoop海量数据的存储能力
2、数据仓库/数据挖掘:分析web日志,分析用户的行为(如:用户使用搜索时,在搜索结果中点击第2页的概率有多大)
3、搜索引擎:设计hadoop的初衷,就是为了快速建立索引。
4、云计算:据说,中国移动的大云,就是基于hadoop的
5、研究:hadoop的本质就是分布式计算,又是开源的。有很多思想值得借鉴。
3.什么是MapReduce,它是怎么工作的
MapReduce借用了函数式编程的概念,是google发明的一种用分布式来处理大数据集的数据处理模型
[这也是和SQL数据库重大区别之一,用函数编程(MapReduce)代替声明查询SQL。
SQL:声明查询结果,让数据库引擎判定获取数据。
MapReduce:数据处理步骤由你自己制定(脚本,代码)eg:复杂的数据统计模型,或改变图像数据格式]
这里写图片描述
工作流程:
1、client提交数据到DFS,然后被分为多个split,然后通过inputformatter以key-value传给jobTraker,jobTraker分配工作给多个map(taskTraker),工程师重写map,在各个taskTraker上分别执行代码任务,做到数据不动,代码动(改革之一)。真正实现代码分布式。
2、tasktraker执行完代码后,将结果通过上下文收集起来,再传给reduce(也是taskTraker),经过排序等操作,再执行工程师重写的reduce方法,最终将结果通过outputFormatter写到DFS。
4.什么是HDFS,它的存储机制?
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括:不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。
这里写图片描述
有一个文件FileA,100M大小。Client将FileA写入到HDFS上。
HDFS按默认配置。
HDFS分布在三个机架上Rack1,Rack2,Rack3。
a. Client将FileA按64M分块。分成两块,block1和Block2;
b. Client向nameNode发送写数据请求,如图蓝色虚线①——>。
c. NameNode节点,记录block信息。并返回可用的DataNode,如粉色虚线②———>。
Block1: host2,host1,host3
Block2: host7,host8,host4
原理:
NameNode具有RackAware机架感知功能,这个可以配置。若client为DataNode节点,那存储block时,规则为:副本1,同client的节点上;副本2,不同机架节点上;副本3,同第二个副本机架的另一个节点上;其他副本随机挑选。若client不为DataNode节点,那存储block时,规则为:副本1,随机选择一个节点上;副本2,不同副本1,机架上;副本3,同副本2相同的另一个节点上;其他副本随机挑选。
d. client向DataNode发送block1;发送过程是以流式写入。
流式写入过程,
1>将64M的block1按64k的package划分;2>然后将第一个package发送给host2;3>host2接收完后,将第一个package发送给host1,同时client想host2发送第二个package;4>host1接收完第一个package后,发送给host3,同时接收host2发来的第二个package。5>以此类推,如图红线实线所示,直到将block1发送完毕。6>host2,host1,host3向NameNode,host2向Client发送通知,说“消息发送完了”。如图粉红颜色实线所示。7>client收到host2发来的消息后,向namenode发送消息,说我写完了。这样就真完成了。如图黄色粗实线8>发送完block1后,再向host7,host8,host4发送block2,如图蓝色实线所示。9>发送完block2后,host7,host8,host4向NameNode,host7向Client发送通知,如图浅绿色实线所示。10>client向NameNode发送消息,说我写完了,如图黄色粗实线。。。这样就完毕了。
分析,通过写过程,我们可以了解到:
①写1T文件,我们需要3T的存储,3T的网络流量贷款。
②在执行读或写的过程中,NameNode和DataNode通过HeartBeat进行保存通信,确定DataNode活着。
如果发现DataNode死掉了,就将死掉的DataNode上的数据,放到其他节点去。读取时,要读其他节点去。
③挂掉一个节点,没关系,还有其他节点可以备份;甚至,挂掉某一个机架,也没关系;其他机架上,也有备份。
以后是通过源码分析,和代码经验来慢慢加深这些概念的理解巩固他们,欢迎大家常驻,一起学习。
- Hadoop面试题
- hadoop面试题
- Hadoop面试题
- Hadoop 面试题
- hadoop面试题
- hadoop 面试题
- Hadoop笔试/面试题
- hadoop面试题
- hadoop面试题
- Hadoop面试题
- Hadoop面试题
- hadoop面试题
- Hadoop笔试/面试题
- hadoop面试题集锦
- hadoop面试题总结
- hadoop面试题
- Hadoop面试题
- hadoop面试题
- 删除链表中等于给定值val的所有节点。
- Tortoise SVN 使用笔记
- oracle存储过程
- AES密码算法系列2:AES密码算法设计与实现
- Prim算法求MST(最小生成树)
- hadoop面试题
- Spinner三级联动里的next(),nextText(),getText()的一点心得和理解
- 1052. 卖个萌 (20)
- 不能用加减乘除做加法
- poj刷题进度指南
- C++基础::构造函数
- eclipse加速之禁用JS、jsp等文件的语法验证,eclipsejs
- [安卓笔记]android客户端向tomcat服务器发送请求中文乱码问题解决
- JavaWeb项目为什么我们要放弃jsp?为什么要前后端解耦?为什么要动静分离?