hadoop常见配置含义备忘录
来源:互联网 发布:存款70万算有钱吗 知乎 编辑:程序博客网 时间:2024/06/09 17:41
参数 取值 备注
fs.default.nameNameNode 的URI。hdfs://主机名/dfs.hosts/dfs.hosts.exclude许可/拒绝DataNode列表。如有必要,用这个文件控制许可的datanode列表。dfs.replication默认: 3数据复制的分数dfs.name.dir举例:/home/username/hadoop/namenode
默认:/tmp
当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。dfs.data.dir举例:/home/username/hadoop/datanode
默认: /tmp
当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。 mapred.system.dirMap/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/ 。这个路径是默认文件系统(HDFS)下的路径, 须从服务器和客户端上均可访问。mapred.local.dir本地文件系统下逗号分割的路径列表,Map/Reduce临时数据存放的地方。多路径有助于利用磁盘i/o。mapred.tasktracker.{map|reduce}.tasks.maximum某一TaskTracker 上可运行的最大Map/Reduce任务数,这些任务将同时各自运行。默认为2(2个map和2个reduce),可依据硬件情况更改。mapred.job.trackerJobTracker 的主机(或者IP)和端口。主机:端口 。mapred.hosts/mapred.hosts.exclude许可/拒绝TaskTracker列表。如有必要,用这个文件控制许可的TaskTracker列表。 hadoop.job.history.user.location默认:mapred.output.dir/_logs/history
也可以设置为none 来停用
作业的历史文件记录目录
conf/slaves 写入全部的slave的机器名或者IP
nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。
hadoop 默认的block 是 64MB
- hadoop常见配置含义备忘录
- hadoop常见配置含义备忘录
- hadoop常见配置含义备忘录
- hadoop常见配置含义备忘录
- hadoop常见配置含义
- hadoop配置含义
- eclipse图标含义备忘录
- eclipse图标含义备忘录
- hadoop(备忘录)
- hadoop配置常见错误及解决办法
- 常见异常备忘录
- Hadoop配置文件及各配置变量的含义
- hadoop各模块含义及对应的配置
- hadoop从零开始--linux常见错误及hadoop配置相关
- ganglia在hadoop中的配置:hadoop-metrics2.properties 以及各监控项含义
- hadoop简单环境搭建备忘录
- 常见算法知识备忘录1
- 【备忘录】常见面试题整理
- orCAD Capture 中批量修改元件名称及序号
- New to OAF
- 结果集耗尽
- 老工程师测试心得
- 程序员常用英语单词
- hadoop常见配置含义备忘录
- centos安装zhcon
- IOS UITextView详解
- Strut2入门 包括 Tomcat 下载配置
- ORA-12514: TNS:listener does not currently know of service requested in connect descript
- 如何优化java代码
- Problem E
- VC++得到系统特殊文件夹路径
- VC数字图像处理编程讲座之一