HDFS分布式系统
来源:互联网 发布:linux运维和java开发 编辑:程序博客网 时间:2024/06/06 12:56
1.什么是分布式文件系统?
当数据集的大小超过一台独立物理计算机的存储能力时,就有必要对它进行分区(partition) 井存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件
系统称为分布式文件系统 (distributed filesystem) 。
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。
2.HDFS分布式文件系统介绍
Hadoop 有一个称为 HDFS 的分布式系统,全称为 Hadoop Distributed Filesystem在非正式文档或旧文档以及配置文件中,有时也简称为 DFS ,它们是一回事儿。
HDFS Hadoop 的旗舰级文件系统,同时也是本章的重点,但实际上 Hadoop一个综合性的文件系统抽象,因此下面我们也将看到 Hadoop 集成其他文件系统的方住(如本地文件系统和 Amazon S3 系统)。
3.HDFS dfs 命令
-help [cmd] //显示命令的帮助信息
-ls(r) <path> //显示当前目录下所有文件
-du(s) <path> //显示目录中所有文件大小
-count[-q] <path> //显示目录中文件数量
-mv <src> <dst> //移动多个文件到目标目录
-cp <src> <dst> //复制多个文件到目标目录
-rm(r) //删除文件(夹)
-put <localsrc> <dst> //本地文件复制到hdfs
-copyFromLocal //同put
-moveFromLocal //从本地文件移动到hdfs
-get [-ignoreCrc] <src> <localdst> //复制文件到本地,可以忽略crc校验
-getmerge <src> <localdst> //将源目录中的所有文件排序合并到一个文件中
-cat <src> //在终端显示文件内容
-text <src> //在终端显示文件内容
-copyToLocal [-ignoreCrc] <src> <localdst> //复制到本地
-moveToLocal <src> <localdst>
-mkdir <path> //创建文件夹
-touchz <path> //创建一个空文件
4.HDFS的架构
4.1.1NameNode是什么?
NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
4.1.2NameNode的工作特点
4.2DataNode是什么?
提供真实文件数据的存储服务。
文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。HDFS默认Block大小是128MB,以一个256MB文件,共有256/128=2个Block.
不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间
Replication。多复本。默认是三个。
4.3.1Secondary NameNode是什么?
HA的一个解决方案。但不支持热备。配置即可。
执行过程:从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,替换旧的fsimage.
默认在安装在NameNode节点上,但这样...不安全!
1.secondary通知namenode切换edits文件
2.secondary从namenode获得fsimage和edits(通过http)
3.secondary将fsimage载入内存,然后开始合并edits
4.secondary将新的fsimage发回给namenode
5.namenode用新的fsimage替换旧的fsimage
- HDFS分布式系统
- 搭建hadoop分布式文件管理系统(HDFS)
- 十四、HDFS在分布式系统中的应用(上)
- 十五、HDFS在分布式系统中的应用(下)
- 分布式文件系统(HDFS)与linux系统文件系统关系
- 02-天亮大数据系统教程之分布式文件系统HDFS
- HDFS-hadoop分布式文件系统
- 分布式文件系统HDFS
- Hadoop HDFS分布式文件系统
- 分布式文件系统HDFS设计
- 分布式文件系统HDFS
- HDFS--分布式存储系统
- 分布式文件系统HDFS简介
- HDFS--Hadoop分布式文件系统
- HDFS--Hadoop分布式文件系统
- 2、 分布式文件系统HDFS
- HDFS分布式文件系统常用命令
- HDFS分布式文件系统常用命令
- 【华为oj】输入一行字符,分别统计,英文字符,空格字符,数字字符,和其他字符的个数
- HDOJ 1113 Word Amalgamation
- javax.xml.registry.infomodel.User
- C#:DataTable映射成Model
- 《程序员面试宝典》(第三版)笔记整理
- HDFS分布式系统
- 数据结构——直接选择排序(c++)
- Spring MVC基本原理
- Fragment与Activity生命周期
- 泛型的使用总结
- CSDN上的疑问??
- MFC 对话框操作
- 数据结构——希尔排序(c++)
- 2015四川省赛 scu oj 4445 Right turn