云计算(十六)- HDFS配额指南(HDFS Quotas Guide)
来源:互联网 发布:专利分析报告 知乎 编辑:程序博客网 时间:2024/05/04 16:06
综述
HDFS允许管理员为使用的命名和每个个人的文件夹设置配额。命名配额和空间配额独立操作,但是这两种陪管理和实现是连接紧密的。
命名配额
命名配额是一个在这个文件夹下文件和文件夹的数目。如果超过限额那么文件和文件夹的创建会失败,重命名后命名配额仍然起作用。如果重命名操作违反配额的限制,那么重命名会失败。新创建的目录中没有配额的限制。Long.Max_Value表示最大限额。如果配额为1那么这个文件夹会强制为空。(一个目录也占用自己的配额)。
配额被持久化在fsimage中,当启动后,如果fsimage 马上违反了配额限制(由于fsimage偷偷的改变),这是会打印警告。设置或删除配额会创建一个空的日志。
空间配额
空间配额是设置一个文件夹的大小。如果超过那么块写入会失败。副本也算配额中的一部分。重命名文件夹后配额还是起作用,如果已经违反了配额,那么重命名操作会失败。新创建的文件夹不会有配额的限制,Long.Max_Value可以设置最大的配额。配额设置为0还是运行文件创建,但是不能向文件中写入块。文件夹不使用主机文件系统不计算在空间配额里面,主机文件系统用来记录文件源数据的数据不算在配额中。Quotas are charged at the intended replication factor for the file; changing the replication factor for a file will credit or debit quotas.
配额被持久化在fsimage中,当启动后,如果fsimage 马上违反了配额限制(由于fsimage偷偷的改变),这是会打印警告。设置或删除配额会创建一个空的日志。
管理命令
只有管理员可以设置配额。
dfsadmin -setQuota <N> <directory>...<directory>
为文件夹设置命名配额为N,当N不是正整数,文件夹不存在或者是一个文件,或者是文件已经超过了新的配额的时候会报错,
- dfsadmin -clrQuota <directory>...<directory>
删除命名配额。如果文件夹不存在或者是一个文件会报错。
- dfsadmin -setSpaceQuota <N> <directory>...<directory>
设置每个文件夹的空间配额为Nbytes。这是在此文件夹下所有文件的大小和的限制。空间配额需要考虑复制,比如1GB的数据并且一共三个副本(包含原文件)那么会消耗3GB的空间配额。N可以指定一个前缀,比如50g 就是50GB 2t就是2TB等。如果N是负数,文件夹不存在或者是一个文件,或者文件夹已经超出了新的配额会抛异常
- dfsadmin -clrSpaceQuota <directory>...<director>
为每一个文件夹删除空间配额
报告命令
HDFS的shell可以使用count命令去查询配额的值和当前的name和字节被用了。
- fs -count -q <directory>...<directory>
使用-q选项,可以报告文件夹的命名配额,剩余命名配额,空间配额,可用空间配额。如果文件夹没有设置配额,那么会报告值为none和inf
参考:http://liuxiang8484.blog.163.com/blog/static/734790972012102393351684/
0 0
- 云计算(十六)- HDFS配额指南(HDFS Quotas Guide)
- HDFS配额指南(HDFS Quotas Guide)
- HDFS QUOTAS(hdfs配额)
- HDFS Quotas Guide
- 云计算(十五)- HDFS权限管理指南(HDFS Permissions Guide)
- hdfs 配额指南
- HDP学习--HDFS Quotas
- hdfs名字空间配额管理指南
- 【甘道夫】Apache Hadoop 2.5.0-cdh5.2.0 HDFS Quotas 配额控制
- 云计算(十)- HDFS 联盟(HDFS Federation)
- 云计算(十一)- HDFS快照(HDFS Snapshots)
- 云计算(十二)-HDFS架构( HDFS Architecture)
- 云计算(十一)- HDFS快照(HDFS Snapshots)
- HDFS架构指南(官网)
- 云计算基础(三):HDFS+MapReduce
- 设置hdfs磁盘配额
- hdfs federation(联合hdfs)
- HDFS 联盟(HDFS Federation)
- 【OPEN GL】学习笔记之一:顶点坐标到屏幕坐标之间的转换
- 如何在项目中添加framework
- PHP XMLRPC 使用示例
- OracleDataAdapter.Fill()处于无限等待中 【已解决】
- 仿乐享源码升级版
- 云计算(十六)- HDFS配额指南(HDFS Quotas Guide)
- Oracle Reporting 5 - Windowing
- 02 VMware play
- 中继器、集线器、网桥、交换机
- struts1中的标签
- C# AD(Active Directory)域信息同步,组织单位、用户等信息查询
- 关于近来
- 关于TED talks 字幕下载的方法
- Graph Databases—Chapter 4 Working with Graph Data阅读笔记