修改hadoop的备份系数dfs.replication后操作
来源:互联网 发布:奇迹服务端源码 编辑:程序博客网 时间:2024/05/17 00:04
Hadoop中常常需要增加新的节点,或者变更备份系数。
在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。
Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。
备份系数在hdfs-site.xml中定义,默认值为3.
如何变更备份系数?
首先stop-all.sh停止节点,修改master节点的hdfs-site.xml文件,设置dfs.relication值为目标值。
启动hadoop集群。
查看文件的备份系数:hadoop dfs -ls [filename] 结果行中的第二列是备份系数
(注:文件夹信息存储在namenode节点上,所以没有备份,故文件夹的备份系数是横杠) 在操作后会发现,以前文件的备份系数仍是原来的值。
原来hadoop并不会自动的按照新的备份系数调整,我们需要手动完成。
查看hadoop集群的备份冗余情况:hadoop fsck / 我很喜欢的命令,可以方便的看到各种类型block所占比例。
我们发现Average block replication的值仍然为旧值,所以我们需要修改hdfs中文件的备份系数。
修改hdfs文件备份系数:hadoop dfs -setrep [-R] 如果有-R将修改子目录文件的性质。
hadoop dfs -setrep -w 3 -R /user/hadoop 就是把目录下所有文件备份系数设置为3.
如果再fsck时候出错,往往是由于某些文件的备份不正常导致的,可以用hadoop的balancer工具修复
http://blog.sina.com.cn/s/blog_437ee9d00101iymq.html
在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。
Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。
备份系数在hdfs-site.xml中定义,默认值为3.
如何变更备份系数?
首先stop-all.sh停止节点,修改master节点的hdfs-site.xml文件,设置dfs.relication值为目标值。
启动hadoop集群。
查看文件的备份系数:hadoop dfs -ls [filename] 结果行中的第二列是备份系数
(注:文件夹信息存储在namenode节点上,所以没有备份,故文件夹的备份系数是横杠) 在操作后会发现,以前文件的备份系数仍是原来的值。
原来hadoop并不会自动的按照新的备份系数调整,我们需要手动完成。
查看hadoop集群的备份冗余情况:hadoop fsck / 我很喜欢的命令,可以方便的看到各种类型block所占比例。
我们发现Average block replication的值仍然为旧值,所以我们需要修改hdfs中文件的备份系数。
修改hdfs文件备份系数:hadoop dfs -setrep [-R] 如果有-R将修改子目录文件的性质。
hadoop dfs -setrep -w 3 -R /user/hadoop 就是把目录下所有文件备份系数设置为3.
如果再fsck时候出错,往往是由于某些文件的备份不正常导致的,可以用hadoop的balancer工具修复
http://blog.sina.com.cn/s/blog_437ee9d00101iymq.html
0 0
- 修改hadoop的备份系数dfs.replication后操作
- 修改hadoop的备份系数dfs.replication
- 【转】修改hadoop的备份系数dfs.replication
- hadoop2.x配置 - hadoop备份系数dfs.replication
- hadoop的dfs.replication
- hadoop的dfs.replication
- hadoop的dfs.replication和备份数问题
- hadoop、hbase的数据备份数(dfs.replication)问题
- hadoop的dfs.replication和dfs setrep
- hadoop中dfs.replication、dfs.replication.min及dfs.safemode.threshold.pct关系
- 关于hadoop编程中dfs.replication与datanode数量的问题
- 修改Hadoop集群的备份数
- hadoop dfs下文件的操作
- Hadoop维护实战-设置hdfs副本数 dfs.replication
- Hadoop集群动态增删节点及备份系数调整
- HDFS的dfs.replication不同验证
- 修改hadoop源码后,hadoop和spark的编译过程
- 修改hadoop源码后,hadoop和spark的编译过程
- 通过SecureCRT设置代理,访问网络中web界面
- 在Altium Designer 9中如何实现元器件旋转45°放置
- yum 安装包使用问题
- tomcat下配置https
- CDH 的Cloudera Manager免费与收费版的对比表
- 修改hadoop的备份系数dfs.replication后操作
- maven管理Spring MVC项目pom.xml配置
- NTP时间服务器搭建
- 持续集成回顾暨点滴分享[1] – 举目向前,摸石过河
- 服务器将GMT修改为CST
- hadoop群集运行job慢的问题
- Handshakes
- jps 命令内容中出现Insufficient space for shared memory file:
- 镀金到底重不重要