hadoop集群默认配置
来源:互联网 发布:js 调用id为变量的div 编辑:程序博客网 时间:2024/05/19 04:55
获取默认配置
配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:
1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key,配置hadoop集群。
2.浏览apache官网,三个配置文件链接如下:
http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html
这里是浏览hadoop当前版本号的默认配置文件,其他版本号,要另外去官网找。
其中第一个方法找到默认的配置是最好的,因为每个属性都有说明,可以直接使用。
另外,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。
常用的端口配置
HDFS端口
参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address NameNode web管理端口50070 hdfs-site.xml 0.0.0.0:50070dfs.datanode.addressdatanode 控制端口50010 hdfs-site.xml 0.0.0.0:50010dfs.datanode.ipc.addressdatanode的RPC服务器地址和端口 50020hdfs-site.xml0.0.0.0:50020dfs.datanode.http.addressdatanode的HTTP服务器和端口 50075hdfs-site.xml 0.0.0.0:50075
MR端口
参数描述默认 配置文件例子值mapred.job.trackerjob tracker交互端口 8021mapred-site.xmlhdfs://master:8021/mapred.job.tracker.http.addressjob tracker的web管理端口50030mapred-site.xml 0.0.0.0:50030mapred.task.tracker.http.addresstask tracker的HTTP端口50060mapred-site.xml0.0.0.0:50060
其他端口
参数描述 默认 配置文件例子值dfs.secondary.http.address secondary NameNode web管理端口 50090hdfs-site.xml0.0.0.0:28680
集群目录配置
参数描述 默认 配置文件例子值dfs.name.dirname node的元数据,以,号隔开,hdfs会把元数据冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉{hadoop.tmp.dir}
/dfs/name
hdfs-site.xm/hadoop/hdfs/namedfs.name.edits.dir node node的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉 ${dfs.name.dir}hdfs-site.xm${dfs.name.dir} fs.checkpoint.dirsecondary NameNode的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉${hadoop.tmp.dir}
/dfs/namesecondary
core-site.xml/hadoop/hdfs/namesecondary fs.checkpoint.edits.dirsecondary NameNode的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录${fs.checkpoint.dir}core-site.xml${fs.checkpoint.dir}hadoop.tmp.dir临时目录,其他临时目录的父目录/tmp/hadoop-${user.name}core-site.xml/hadoop/tmp/hadoop-${user.name}dfs.data.dirdata node的数据目录,以,号隔开,hdfs会把数据存在这些目录下,一般这些目录是不同的块设备,不存在的目录会被忽略掉${hadoop.tmp.dir}
/dfs/data
hdfs-site.xm/hadoop/hdfs/data1/data,
/hadoop/hdfs/data2/data
mapred.local.dirMapReduce产生的中间数据存放目录,以,号隔开,hdfs会把数据存在这些目录下,一般这些目录是不同的块设备,不存在的目录会被忽略掉${hadoop.tmp.dir}
/mapred/local
mapred-site.xml/hadoop/hdfs/data1/mapred/local,
/hadoop/hdfs/data2/mapred/local
mapred.system.dirMapReduce的控制文件${hadoop.tmp.dir}
/mapred/system
mapred-site.xml/hadoop/hdfs/data1/system
其他配置
参数描述 默认 配置文件例子值dfs.support.append 支持文件append,主要是支持hbase falsehdfs-site.xmltruedfs.replication 文件复制的副本数,如果创建时不指定这个参数,就使用这个默认值作为复制的副本数 3hdfs-site.xml2copy from http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html
- hadoop集群默认配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop 集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- smarty模板使用入门
- 2013-01-08
- 算法导论学习笔记(八):二叉查找树
- qemu之差分盘(差异磁盘)
- WINCE6.0 远程工具,不能使用ActiveSync连接的问题
- hadoop集群默认配置
- php面试题
- css颜色渐变
- Zedboard上的NTShell移植 以及 双串口软件测试
- 常用的一些rman备份恢复命令
- fishcat论 RMAN备份过的归档如果不加delete input的话,下次居然会重复备份
- fishcat论 RMAN还原归档日志时应注意
- php里http协议基础
- 中国的程序员