Haddop学习笔记---HDFS体系结构
来源:互联网 发布:其恕乎是什么意思 编辑:程序博客网 时间:2024/05/19 01:12
HDFS的概念
数据块
- HDFS的块默认为64M。
- HDFS上的文件被划分为块大小的多个分块,作为独立的存储单元。
- hadoop fsck / -files -blocks 可以看各个文件由哪些块构成。
namenode和datanode
- namenode是管理者,datanode是工作者。
- namenode
- namenode管理文件系统的命名空间。
- 记录每个文件中各个块所在的数据节点信息。
- namenode在内存中保存文件系统中的每个文件和每个数据块的引用关系。
- datanode
- 负责所在物理节点的存储管理。
- 根据需要存储并检索数据块。
- 一次写入多次读取。
读取数据流程
- 客户端要访问HDFS中的一个文件。
- 首先从namenode获得组成这个文件的数据块位置列表。
- 根据列表知道数据块的datanode
- 访问datanode获取数据。
namenode并不参与数据实际传输。
安全模式
bin/hadoop dfsadmin safemode enter
bin/hadoop dfsadmin safemode leave
0 0
- Haddop学习笔记---HDFS体系结构
- Haddop学习~
- HDFS体系结构
- HDFS体系结构
- HDFS体系结构
- hdfs体系结构
- HDFS体系结构
- HDFS体系结构
- HDFS体系结构
- 体系结构学习笔记
- EJB学习笔记--体系结构
- AMD64 体系结构 学习笔记
- oracle体系结构学习笔记
- HDFS学习笔记
- HDFS学习笔记
- HDFS 学习笔记
- hadoop-hdfs学习笔记
- HDFS学习笔记
- call、aplly、caller、callee分别是什么?
- 1009 of search
- spring,springmvc,mybatis基本整合(一)--xml文件配置方式(2)
- requestWindowFeature
- Java学习笔记---IO流笔记
- Haddop学习笔记---HDFS体系结构
- 5种 (UI线程与后台线程交互设计的方法)
- LeetCode 212. Word Search II
- Hadoop的“Hello world”---WordCount
- 移动端屏幕适配
- 安装Hadoop时:0 datanode(s) running的解决方法
- 华为OJ 扑克牌大小
- 安装Hadoop需要配置的几个文件
- 2.《Unity中C#脚本语法-常用变量类型》