Hadoop读书笔记(四)HDFS体系结构
来源:互联网 发布:淘宝怎么看天猫积分 编辑:程序博客网 时间:2024/05/17 22:19
Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629
Hadoop读书笔记(二)HDFS的shell操作:http://blog.csdn.net/caicongyang/article/details/41253927
Hadoop读书笔记(三)Java API操作HDFS:http://blog.csdn.net/caicongyang/article/details/41290955
1.NameNode
作用:管理文件目录结构、管理数据节点。名字节点维护两套数据,一套是文件目录与数据块之间的关系, 另一套是数据块与节点之间的关系。 前一套数据是静
态的,是存放在磁盘上的,通过 fsimage 和 edits 文件来维护;后一套数据是动态的,不持久化到磁盘的,每当集群启动的时候,会自动建立这些信息。
配置信息:core-site.xml中的hadoop.tmp.dir 系统默认的配置文件:core-default.xml(源码)
目录结构 :/usr/local/hadoop/tmp/dfs/name (/usr/local 为Hadoop安装目录,文件路径配置在源码中的core-default.xml中和用户的core-site.xml中)
2.DataNode
作用:数据存储
配置信息:默认大小64M ,默认3份备份 系统默认的配置文件:core-default.xml 配置项:dfs.block.size dfs.replication
目录结构:/usr/local/hadoop/tmp/data
3.SecondaryNameNode
作用:edis、fsimage、fstime为HDFS目录结构文件,fstime的作用是事务,edits的作用是临时文件,fsimage是镜像文件,SecondaryNameNode负责将NameNode中的edits合并到fsimage中。
欢迎大家一起讨论学习!
有用的自己收!
记录与分享,让你我共成长!欢迎查看我的其他博客;我的博客地址:http://blog.csdn.net/caicongyang
- Hadoop读书笔记(四)HDFS体系结构
- Hadoop,HDFS体系结构
- Hadoop体系结构之 HDFS
- Hadoop HDFS源码学习笔记(四)
- Hadoop学习笔记(四)---HDFS概述
- Hadoop 四:Hadoop-Hdfs NameNode
- 大数据学习篇:hadoop深入浅出系列之HDFS(二)——HDFS体系结构
- 大数据生态系统基础:Hadoop(三):Hadoop 3.0.0 HDFS 体系结构
- Hadoop读书笔记(二)HDFS的shell操作
- Hadoop读书笔记(三)Java API操作HDFS
- 《Hadoop 2.X HDFS源码剖析》读书笔记(NameNode)
- 《Hadoop 2.X HDFS源码剖析》读书笔记(Client)
- 《Hadoop 2.X HDFS源码剖析》读书笔记(RPC)
- 每天一点hadoop 第八章 HDFS (四)
- Hadoop之HDFS的读写流程(四)
- Hadoop系列-HDFS设计思想与架构(四)
- 大数据(四)Hadoop-HDFS zookeeper的安装
- HDFS体系结构
- Being a Good Boy in Spring Festival(杭电1850)(尼姆博弈)
- C语言回文及其转化问题
- HDU 1730 Northcott Game 【组合博弈】
- 解析带小括号的算术表达式--------用栈来实现的java算法
- GNU ARM 汇编指令
- Hadoop读书笔记(四)HDFS体系结构
- 单路由器:一对多出口NAT技术+子接口NAT+(命名)扩展访问控制列表+多对一NAT技术实验
- c++实现atoi()和itoa()函数(字符串和整数转化)
- php学习笔记(十)对象和类
- Nodejs系列-1
- 关于自己的学习和工作
- ***(leetcode) Recover Binary Search Tree
- nginx源码分析--事件模块 & 琐碎
- ARM指令之--MVN