HDFS配置项
来源:互联网 发布:政府服务平台软件 编辑:程序博客网 时间:2024/05/17 22:43
HDFS的配置文件主要有两个,hdfs-site.xml和core-site.xml,以下是这两个文件的常用的属性,以后会不断添加
hdfs-site.xml属性说明
以下属性都在hdfs-default.xml中,hadoop不建议直接修改这个文件,建议在hdfs-site.xml中修改,hdfs-site.xml的属性值会覆盖hdfs-default.xml中的值。
属性
默认值
属性说明
dfs.name.dir
${hadoop.tmp.dir}/dfs/name
Namenode元数据保存路劲(如fsimage),可以设置多个,以“,”分隔,不能有空格
dfs.data.dir
${hadoop.tmp.dir}/dfs/data
datanode保存数据块的目录,可以设置多个,以“,”分隔,不能有空格
fs.checkpoint.period
3600秒
每隔3600秒secondaryNameNode执行checkpoint来合并fsimage和eidts
fs.checkpoint.size
67108864(64M)
当edits文件达到64M时secondaryNameNode执行checkpoint来合并fsimage和eidts,
dfs.block.size
67108864(64M)
hdfs每个文件块的大小
dfs. replication
3
文件上传到hdfs上时指定几个副本,如以后修改了副本数,对已经上传了的文件也不会起作用
dfs.permissions
true
文件操作时的权限检查标识,最好设置成false吧,不然操作HDFS可能会报权限异常
core-site.xml属性说明
以下属性都在core-default.xml中,hadoop不建议直接修改这个文件,建议在core-site.xml中修改,core-site.xml的属性值会覆盖core-default.xml中的值。
属性
默认值
属性说明
fs.default.name
file:///
指定一台机器为namenode。如hdfs://hadoop-manager:9000
hadoop.tmp.dir
/tmp/hadoop-${user.name}
临时文件路径。在hdfs-default.xml中dfs.name.dir属性的默认值用到了这个属性。
- HDFS配置项
- HDFS配置
- Hadoop配置项(hdfs-site.xml)
- Hadoop配置项整理(hdfs-site.xml)
- Hadoop配置项整理(hdfs-site.xml)
- Hadoop配置项整理(hdfs-site.xml)
- Hadoop配置项整理(hdfs-site.xml)
- Hadoop配置项整理(hdfs-site.xml)
- HDFS 2.7.1 所有配置项
- Hadoop配置项整理(hdfs-site.xml)
- Hadoop配置项整理(hdfs-site.xml)
- Hadoop Hdfs 配置
- Hadoop HDFS配置
- hdfs配置参考
- hdfs客户端配置
- HDFS HA+Federation配置
- HDFS ViewFs配置
- HDFS配置Kerberos认证
- makefile文件名函数使用
- CodeForces 487C Prefix Product Sequence
- iOS:navigationItem自定义时无法紧贴左侧
- Demo讲解之Lua和C++牵手
- performSelector may cause a leak because its selector is unknown
- HDFS配置项
- eclipse java代码和xml智能提示
- 好好学习 天天向上
- ps 历史记录画笔工具 实现抠图效果 实例 && 利用蒙版工具
- LR接口性能测试提示Code - 60990 Error: Two Way Communication Error: Function two_way_comm_post_message / two_
- Unity3D 多种播放音效的方式
- 视频监控相关研究方向
- UBIFS文件系统分析四之UBIFS的六个area
- css3学习笔记1