hdfs的基本原理和基本操作总结

                                                                                                                     

                                                                                hdfs基本原理

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。

HDFS的主要组成：NameNode,SecondaryNameNode,DataNonde;

HDFS的基本操作：读、写、均衡；

图1，NameNode

图2，SecondaryNameNode

 

图3，客户端的读请求

 

图4，读取DataNode上的块

图5，写文件请求

 

图6，准备写

 

图7，单块的管线式写入数据节点

图8，多块的管线式写入数据节点

图9 重写损坏的数据块副本

图10 不均衡的集群

图11 均衡的集群

    

     运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是GB到TB的级别。所以，HDFS被调整成支持大文件。它应 该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。                                                       

       大部分的HDFS程序对文件操作需要的是一次写多次读取的操作模式。一个文件一旦创建、写入、关闭之后就不需要修改了。这个假定简单化了数据一致的问题和并使高吞吐量的数据访问变得可能。一个Map-Reduce程序或者网络爬虫程序都可以完美地适合这个模型。                                                                                                                                                                                                                       

       HDFS是一个主从结构，一个HDFS集群是由一个名字节点，它是一个管理文件命名空间和调节客户端访问文件的主服务器，当然还有一些数据节点，通常是一个节点一个机器，它来管理对应节点的存储。HDFS对外开放文件命名空间并允许用户数据以文件形式存储。内部机制是将一个文件分割成一个或多个块，这些块被存储在一组数据节点中。名字节点用来操作文件命名空间的文件或目录操作，如打开，关闭，重命名等等。它同时确定块与数据节点的映射。数据节点负责来自文件系统客户的读写请求。数据节点同时还要执行块的创建，删除，和来自名字节点的块复制指令。                                                                                                                     

         名字节点和数据节点都是运行在普通的机器之上的软件，机器典型的都是GNU/Linux，HDFS是用java编写的，任何支持java的机器都可以运行名字节点或数据节点，利用java语言的超轻便型，很容易将HDFS部署到大范围的机器上。典型的部署是由一个专门的机器来运行名字节点软件，集群中的其他每台机器运行一个数据节点实例。体系结构不排斥在一个机器上运行多个数据节点的实例，但是实际的部署不会有这种情况。集群中只有一个名字节点极大地简单化了系统的体系结构。名字节点是仲裁者和所有HDFS元数据的仓库，用户的实际数据不经过名字节点。                                                                                                                                                  

         HDFS是一个不错的分布式文件系统，它有很多的优点，但也存在有一些缺点，包括：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。                                                                                                                                              

      

                                                                                 HDFS 常用的基本操作命令                                      

1，HDFS  Shell                                                                                                                                                                                               

    查看 hadoop fs                                                                                                                                                                           

2, 常见命令                                                                                                                                                                                                                                                                                                                                                                                                                        

-ls 显示当前目录结构

    该命令选项表示查看指定路径的当前目录结构，后面跟hdfs 路径，如图所示。    上图中的路径是hdfs 根目录，显示的内容格式与linux 的命令ls –l 显示的内容格式非常相似，解析每一行的内容格式：                                                                                         

                                    1. 首字母表示文件夹(如果是“d”)还是文件（如果是“-”）；                                                                                                                       2. 后面的9 位字符表示权限；                                                                                                                                       

         3. 后面的数字或者“-”表示副本数。如果是文件，使用数字表示副本数；文件夹没有副本；

4. 后面的“root”表示属主；                                                                                                             

5. 后面的“supergroup”表示属组 ；                                                                                             

6. 后面的“0”、“6176”、“37645”表示文件大小，单位是字节 ；                                          

7. 后面的时间表示修改时间，格式是年月日时分；                                                                 

8. 最后一项表示文件路径。                                                                                                            

-du 统计目录下各文件大小

-mv 移动

该命令选项表示移动hdfs 的文件到指定的hdfs 目录中。后面跟两个路径，第一个表示源文件，第二个表示目的目录。

-cp 复制

该命令选项表示复制hdfs 指定的文件到指定的hdfs 目录中。后面跟两个路径，第一个是被复制的文件，第二个是目的地

-rm 删除文件/空白文件夹

该命令选项表示删除指定的文件或者空目录

-rmr 递归删除

该命令选项表示递归删除指定目录下的所有子目录和文件

-put 上传文件

该命令选项表示把linux 上的文件复制到hdfs 中

-copyFromLocal 从本地复制

操作与-put 一致

-moveFromLocal 从本地移动

该命令表示把文件从linux 上移动到hdfs 中

getmerge 合并到本地

该命令选项的含义是把hdfs 指定目录下的所有文件内容合并到本地linux 的文件中

-cat 查看文件内容

该命令选项是查看文件内容

-text 查看文件内容

该命令选项可以认为作用和用法与-cat 相同，此处略。

       -mkdir 创建空白文件夹

该命令选项表示创建文件夹，后面跟的路径是在hdfs 将要创建的文件夹

-setrep 设置副本数量

该命令选项是修改已保存文件的副本数量，后面跟副本数量，再跟文件路径

-touchz 创建空白文件

该命令选项是在hdfs 中创建空白文件

-stat 显示文件的统计信息

该命令选项显示文件的一些统计信息

-tail 查看文件尾部内容

该命令选项显示文件最后1K 字节的内容。一般用于查看日志。如果带有选项-f，那么当文件内容变化时，也会自动显示

-chmod 修改文件权限

该命令选项的使用类似于linux 的shell 中的chmod 用法，作用是修改文件的权限

-chown 修改属主

该命令选项表示修改文件的属主

-help 帮助

该命令选项会显示帮助信息，后面跟上需要查询的命令选项即可

3，数据的读写过程

管线式（PipeLine）写入：当客户端写数据到HDFS文件中时，数据首先被写入本地文件中，假设HDFS文件的复制因子是3，当本地文件堆积到一块大小的数据，客户端从名字节点获得一个数据节点的列表。这个列表也包含存放数据块副本的数据节点。当客户端刷新数据块到第一个数据节点。第一个数据节点开始以4kb为单元接收数据，将每一小块都写到本地库中，同时将每一小块都传送到列表中的第二个数据节点。同理，第二个数据节点将小块数据写入本地库中同时传给第三个数据节点，第三个数据节点直接写到本地库中。一个数据节点在接前一个节点数据的同时，还可以将数据流水式传递给下一个节点，所以，数据是流水式地从一个数据节点传递到下一个。因此，三个节点的写数据完成的时间相差不多。