【Hadoop入门学习系列之二】HDFS架构和编程

一. HDFS概述

1.HDFS是什么？

• 源自于Google的GFS论文
  
  • 发表于2003年10月
  • HDFS是GFS克隆版
• Hadoop Distributed File System
  
  • 易于扩展的分布式文件系统
  • 运行在大量普通廉价机器上，提供容错机制
  • 为大量用户提供性能不错的文件存取服务

2.HDFS优缺点

优点

• 高容错性
  
  • 数据自动保存多个副本
  • 副本丢失后，自动恢复
• 适合批处理
  
  • 移动计算而非数据
  • 数据位置暴露给计算框架
• 适合大数据处理
  
  • GB、 TB、甚至PB级数据
  • 百万规模以上的文件数量
  • 10K+节点规模
• 流式文件访问
  
  • 一次性写入，多次读取
  • 保证数据一致性
• 可构建在廉价机器上
  
  • 通过多副本提高可靠性
  • 提供了容错和恢复机制

缺点

• 低延迟数据访问
  
  • 比如毫秒级
  • 低延迟与高吞吐率
• 小文件存取
  
  • 占用NameNode大量内存
  • 寻道时间超过读取时间
• 并发写入、文件随机修改
  
  • 一个文件只能有一个写者
  • 仅支持append

二. HDFS基本架构和原理

1.HDFS设计思想

解释：从HDFS的设计思想上可知，HDFS最适合处理大容量的单个数据，可以将该数据分成n个block，每个block是64M，每个block存取多份，具体份数是通过hdfs-site.xml文件中的fs.replication配置，而且每个block存取的节点不能完全重叠，但要保证最终可以合成原文件。

2.HDFS架构

3.HDFS数据块（block）

• 文件被切分成固定大小的数据块
  
  • 默认数据块大小为64MB，可配置
  • 若文件大小不到64MB，则单独存成一个block
• 为何数据块如此之大
  
  • 数据传输时间超过寻道时间（高吞吐率）
• 一个文件存储方式
  
  • 按大小被切分成若干个block，存储到不同节点上
  • 默认情况下每个block有三个副本

4.HDFS读写流程

读流程

写流程

5.HDFS典型物理拓扑

6.HDFS副本放置策略

• 问题：
  一个文件划分成多个block，每个
  block存多份，如何为每个block选
  择节点存储这几份数据？
• Block副本放置策略：
  
  • 副本1: 同Client的节点上 
  • 副本2: 不同机架中的节点上
  • 副本3: 与第二个副本同一机架的 另一个节点上
  • 其他副本:随机挑选

7.HDFS可靠性策略

常见的三种错误情况：

• 文件损坏
  文件完整性检查
  – CRC32校验
  – 用其他副本取代损坏文件
• 网络或者机器失效
  Heartbeat心跳机制
  – Datanode 定期向Namenode发
  heartbeat
• NameNode挂掉
  元数据信息
  – FSImage（文件系统镜像）、 Editlog
  （操作日志）
  – 多份存储
  – 主备NameNode实时切换

8.HDFS不适合存储小文件

• 元信息存储在NameNode内存中
  
  • 一个节点的内存是有限的
• 存取大量小文件消耗大量的寻道时间
  
  • 类比拷贝大量小文件与拷贝同等大小的一个大文件
• NameNode存储block数目是有限的
  
  • 一个block元信息消耗大约150 byte内存
  • 存储1亿个block，大约需要20GB内存
• 如果一个文件大小为10K，则1亿个文件大小仅为1TB（但要消耗掉 NameNode 20GB内存）

三.HDFS编程操作

1.HDFS访问方式

• HDFS Shell命令
• HDFS Java API
• HDFS REST API
• HDFS Fuse：实现了fuse协议
• HDFS lib hdfs： C/C++访问接口
• HDFS 其他语言编程API
  
  • 使用thrift实现
  • 支持C++、 Python、 php、 C#等语言

2.shell编程

【1】HDFS Shell十大命令

1. 列出hdfs上的文件
hadoop fs -ls /

2.查看hdfs文件内容
hadoop fs -cat /xx

3.从本地拷贝文件到hdfs
hadoop fs -copyFromLocal /root/xxx(Linux上文件) /(hdfs的根)
同-put命令

4.从hdfs拷贝文件到本地
hadoop fs - copyToLocal ….
同-get命令

5.统计
hadoop -fs -count /
文件夹数 文件数 占用字节数

6.删除hdfs上文件
hadoop fs -rm

7.hdfs上的文件拷贝
hadoop fs -cp ……

8.新建文件夹
hadoop fs -mkdir ….

9.从本地剪切文件到hdfs
hadoop fs -moveFromLocal

10.从hdfs剪切文件到本地
hadoop fs -moveToLocal

【2】HDFS Shell命令—文件操作命令

【3】HDFS Shell命令—管理命令

【4】HDFS Shell命令—管理脚本

• 在sbin目录下
  
  • start-all.sh
  • start-dfs.sh
  • start-yarn.sh
  • hadoop-deamon(s).sh
• 单独启动某个服务
  
  • hadoop-deamon.sh start namenode
  • hadoop-deamons.sh start namenode（通过SSH登录到各个节点）

【5】HDFS Shell命令—文件管理命令fsck

• 检查hdfs中文件的健康状况
• 查找缺失的块以及过少或过多副本的块
• 查看一个文件的所有数据块位置
• 删除损坏的数据块

【6】HDFS Shell命令—数据均衡器balancer

• 数据块重分布
  
  • bin/start-balancer.sh -threshold
• percentage of disk capacity
  
  • HDFS达到平衡状态的磁盘使用率偏差值
  • 值越低各节点越平衡，但消耗时间也更长

【7】HDFS Shell命令—设置目录份额

• 限制一个目录最多使用磁盘空间
  bin/hadoop dfsadmin -setSpaceQuota 1t /user/username
• 限制一个目录包含的最多子目录和文件数目
  bin/hadoop dfsadmin -setQuota 10000 /user/username

【8】HDFS Shell命令—增加/移除节点

• 加入新的datanode
  
  • 步骤1：将已存在datanode上的安装包（包括配置文件等）
    拷贝到新datanode上；
  • 步骤2：启动新datanode：
    sbin/hadoop-deamon.sh start datanode
• 移除旧datanode
  
  • 步骤1：将datanode加入黑名单，并更新黑名单，在
    NameNode上，将datanode的host或者ip加入配置选项
    dfs.hosts.exclude指定的文件中
  • 步骤2：移除datanode
    bin/hadoop dfsadmin -refreshNodes

2.java API编程

【1】HDFS Java API介绍

• Configuration类：该类的对象封装了配置信息，这些 配置信息来自core-*.xml；
• FileSystem类：文件系统类，可使用该类的方法对文 件/目录进行操作。一般通过FileSystem的静态方法get获得一个文件系统对象；
• FSDataInputStream和FSDataOutputStream类： HDFS中的输入输出流。分别通过FileSystem的open 方法和create方法获得。
  以上类均来自java包： org.apache.hadoop.fs

【2】HDFS Java程序举例

• 将本地文件拷贝到HDFS上

Configuration config = new Configuration();FileSystem hdfs = FileSystem.get(config);Path srcPath = new Path(srcFile);Path dstPath = new Path(dstFile);hdfs.copyFromLocalFile(srcPath, dstPath);

• 创建HDFS文件

Configuration config = new Configuration();FileSystem hdfs = FileSystem.get(config);Path path = new Path(fileName);FSDataOutputStream outputStream = hdfs.create(path);outputStream.write(buff, 0, buff.length);

3.HDFS 多语言API—借助thrift

【1】hadoopfs.thrift接口定义

参考博客

【2】PHP语言访问HDFS

<?phperror_reporting(E_ALL);ini_set('display_errors', 'on');$GLOBALS['THRIFT_ROOT'] = ‘/usr/local/thrift/lib/php/src‘;define(‘ETCC_THRIFT_ROOT’, $GLOBALS['THRIFT_ROOT']);require_once(ETCC_THRIFT_ROOT.’/Thrift.php’ ); require_once(ETCC_THRIFT_ROOT.’/transport/TSocket.php’ ); require_once(ETCC_THRIFT_  ROOT.’/transport/TBufferedTransport.php’ ); require_once(ETCC_THRIFT_ROOT.’/protocol/TBinaryProtocol.php’ );$socket = new TSocket(your-host, your-port);$socket->setSendTimeout(10000);$socket->setRecvTimeout(20000);$transport = new TBufferedTransport($socket);$protocol = new TBinaryProtocol($transport);require_once(ETCC_THRIFT_ROOT.’/packages/hadoopfs/ThriftHadoopFileSystem.php’);$client = new ThriftHadoopFileSystemClient($protocol);

【3】Python语言访问HDFS

Python语言访问HDFS

四.总结

本博客记录了hdfs的设计思想，整体架构以及编程操作的方式，重点理解hdfs的整体架构和存储方式，掌握常用的shell命令和javaAPI操作，希望以后在实践过程中更加深入的学习hdfs。