HDFS入门了解心得
来源:互联网 发布:企业大数据战略 编辑:程序博客网 时间:2024/05/21 22:26
HDFS入门了解心得:
在对Hadoop有了一个框架的基本了解之后,我就已经知道了HDFS就是Hadoop Distribution File System. Hadoop的一套分布式文件管理系统。那么HDFS到底是什么呢?基本的原理是什么样的?在超人学院吴超老师的视里是这么解释的
HDFS负责数据费分布式存储,基本的结构是是一种主从结构。分成主节点namenode,和从节点datanode。Namenode节点主要负责的是用户的请求操作,类似用户需要下载文件,用户需要上传文件等等操作都用NameNode来处理。这是用户操作的一个入口。DataNode这个节点的主要职责呢,就是将用户需要上传的数据给真正的存起来。以后用户需要数据在从这些个DataNode里提取出来使用。所以我愿意用使用字典来类比NameNode和DataNode。NameNode好比是字典的目录,我们在查一个海量的字典的时候只能先去目录,在目录中寻求我们需要的东西。然后NameNode这个目录将指引我们找到一需要寻找文件的具体位置。那这个位置就是DataNode,存放着我们需要的栋。也可以用一个大型商场来类比。在海量商品的商场里,当我们需要购买一个东西的时候无法对海量商场进行遍历寻找。我们可以去咨询导购员,那这个导购员就是NameNode,他知道商品在什么地方。然后在带领我们去那个柜台,柜台就是DataNode存放我们需要的商品。同是以上的字典目录和导购员不一定要唯一,也是目录没办法那么大,或者一个导购员都所有柜台。所以可以有多个目录和多个导购员。及即在HDFS中是存在多个NameNode和很多的DataNode。
- HDFS入门了解心得
- VUE快速入门心得——深入了解render函数
- 【HDFS入门】HDFS概述
- HDFS入门
- HDFS 入门
- HDFS读书笔记-了解NameNode
- HDFS启动过程了解
- ActiveMQ初步了解心得
- 初步了解HDFS与MapReduce
- Hadoop入门+HDFS命令
- HDFS API入门
- hadoop HDFS入门
- HDFS简单入门
- HDFS入门(1)
- HDFS简单入门
- Hadoop入门之HDFS
- HDFS基础入门
- hadoop--hdfs入门讲解
- 局部变量申请栈空间时的入栈顺序
- comm命令
- 一些凌乱的小知识
- 关于如何使用websocket 接收并显示图片或者操作二进制
- css 的@media print控制打印
- HDFS入门了解心得
- unity3d中OnEnable和Awake的顺序问题
- 弃用 Blog
- Java Web网站搭建SSL证书的问题与解决方案
- tomcat(17)启动tomcat
- 网页定位导航
- 调查管理系统(5)---答案的存储
- Uva 105 The Skyline Problem
- linux常用命令详解(持续更新)