hadoop dfs.datanode.du.reserved 预留空间配置方法
来源:互联网 发布:unity3d人物动画设置 编辑:程序博客网 时间:2024/06/05 03:29
对于datanode配置预留空间的方法 为:在hdfs-site.xml添加如下配置
<property>
<name>dfs.datanode.du.reserved</name>
<value>10737418240</value>
</property>
dfs.datanode.du.reserved的单位为字节,上面的预留空间为10G,预留30G:32212254720
预留20G:21474836480
预留空间可能遇到的问题:预留了10G,但是该节点磁盘空间去没有真正剩余,而是一直会放数据,原因可能是如下方面:
通过 df -h 查看容量显示如下:
Filesystem Size Used Avail Use% Mounted on
/dev/sda4 243G 200G 31G 87% /data
注:说明总容量为243G,使用了200G,可用31G 这里有个问题,使用量+可用量!=总容量,少掉了12G,这就是问题所在。
dfs.datanode.du.reserved设置为10G的话
通过hadoop dfsadmin -report 查看显示如下
Configured Capacity: 228260941824 (232.58 GB)
DFS Used: 208414818078 (194.10 GB)
Non DFS Used: 0 (0 B)
DFS Remaining: 19846123746 (38.48 GB)
Configured Capacity显示的dfs.data.dir指定的目录空间总容量大小-dfs.datanode.du.reserved的容量,
如果像之前设置 dfs.datanode.du.reserved为10G的话,Configured Capacity为:232.58 GB,DFS Remaining则为38.48G,
但实际/dev/sda4 可用空间才只有31G,所以有数据的话会一直会存入该节点,直到放满。
解决方法:将dfs.datanode.du.reserved设置更大。目前设置为30G
这样,hadoop dfsadmin -report 查看
Configured Capacity: 228260941824 (212.58 GB)
DFS Used: 208414818078 (194.10 GB)
Non DFS Used: 0 (0 B)
DFS Remaining: 19846123746 (18.48 GB)
dfs可用空间18.48<31G,所以当dfs全部用完,磁盘/dev/sda4还是有13G空间空闲,达到要的效果!
- hadoop dfs.datanode.du.reserved 预留空间配置方法
- hadoop dfs.datanode.du.reserved datanode预留空间
- dfs.datanode.du.reserved 预留空间不生效的问题
- dfs.datanode.du.reserved的含义
- datanode非dfs预留空间设置
- Hadoop配置datanode
- org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /chunk : java.io.Fil
- hadoop配置 - Datanode GC优化一则
- Hadoop配置datanode无法连接到master
- hadoop配置完成后datanode没有启动
- Hadoop配置单节点,DataNode没有启动
- Hdfs磁盘存储策略和预留空间配置
- Hadoop运维笔记 - 更换du命令降低datanode磁盘IO
- ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid
- 如何配置Reserved Pool
- dfs.data.dir 配置导致datanode无法启动
- 集群扩容DataNode报错:Invalid dfs.datanode.data.dir /data2/hadoop/hdfs/data : EPERM: Operation not permitt
- 关于配置伪分布hadoop无法启动datanode的解决
- mysql数据导入、导出方法汇总
- mysql 取每组前几条记录
- Hive中的排序语法
- hive 数据插入DML语法汇总
- hadoop jps出现process information unavailable提示解决办法
- hadoop dfs.datanode.du.reserved 预留空间配置方法
- 基本数据类型范围...
- hive DDL语法汇总
- hadoop 平衡空间设置方法
- hive 客户端查询报堆内存溢出解决方法
- presentViewController弹出有几种可以选择的类型
- linux tune2fs命令详解
- 大数据学习之Scala中main函数的分析以及基本规则(2)
- 9. Palindrome Number Leetcode Python 2016 new Season