hadoop集群目录和端口配置
来源:互联网 发布:javascript open 编辑:程序博客网 时间:2024/06/01 20:14
{hadoop.tmp.dir}
/dfs/name
hdfs-site.xm/hadoop/hdfs/namedfs.name.edits.dir node node的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉 ${dfs.name.dir}hdfs-site.xm${dfs.name.dir} fs.checkpoint.dirsecondary NameNode的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉${hadoop.tmp.dir}
/dfs/namesecondary
core-site.xml/hadoop/hdfs/namesecondary fs.checkpoint.edits.dirsecondary NameNode的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录${fs.checkpoint.dir}core-site.xml${fs.checkpoint.dir}hadoop.tmp.dir临时目录,其他临时目录的父目录/tmp/hadoop-${user.name}core-site.xml/hadoop/tmp/hadoop-${user.name}dfs.data.dirdata node的数据目录,以,号隔开,hdfs会把数据存在这些目录下,一般这些目录是不同的块设备,不存在的目录会被忽略掉${hadoop.tmp.dir}
/dfs/data
hdfs-site.xm/hadoop/hdfs/data1/data,
/hadoop/hdfs/data2/data
mapred.local.dirMapReduce产生的中间数据存放目录,以,号隔开,hdfs会把数据存在这些目录下,一般这些目录是不同的块设备,不存在的目录会被忽略掉${hadoop.tmp.dir}
/mapred/local
mapred-site.xml/hadoop/hdfs/data1/mapred/local,
/hadoop/hdfs/data2/mapred/local
mapred.system.dirMapReduce的控制文件${hadoop.tmp.dir}
/mapred/system
mapred-site.xml/hadoop/hdfs/data1/system
其他配置
参数描述 默认 配置文件例子值dfs.support.append 支持文件append,主要是支持hbase falsehdfs-site.xmltruedfs.replication 文件复制的副本数,如果创建时不指定这个参数,就使用这个默认值作为复制的副本数 3hdfs-site.xml2
常用的端口配置
HDFS端口
参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address NameNode web管理端口50070 hdfs-site.xml 0.0.0.0:50070dfs.datanode.addressdatanode 控制端口50010 hdfs-site.xml 0.0.0.0:50010dfs.datanode.ipc.addressdatanode的RPC服务器地址和端口 50020hdfs-site.xml0.0.0.0:50020dfs.datanode.http.addressdatanode的HTTP服务器和端口 50075hdfs-site.xml 0.0.0.0:50075
MR端口
参数描述默认 配置文件例子值mapred.job.trackerjob tracker交互端口 8021mapred-site.xmlhdfs://master:8021/mapred.job.tracker.http.addressjob tracker的web管理端口50030mapred-site.xml 0.0.0.0:50030mapred.task.tracker.http.addresstask tracker的HTTP端口50060mapred-site.xml0.0.0.0:50060
其他端口
参数描述 默认 配置文件例子值dfs.secondary.http.address secondary NameNode web管理端口 50090hdfs-site.xml0.0.0.0:28680
1、dfs.hosts 记录即将作为datanode加入集群的机器列表
2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表
3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表
4、master 记录运行辅助namenode的机器列表
5、slave 记录运行datanode和tasktracker的机器列表
6、hadoop-env.sh 记录脚本要用的环境变量,以运行hadoop
7、core-site.xml hadoop core的配置项,例如hdfs和mapreduce常用的i/o设置等
8、hdfs-site.xml hadoop守护进程的配置项,包括namenode、辅助namenode和datanode等
9、mapred-site.xml mapreduce守护进程的配置项,包括jobtracker和tasktracker
10、hadoop-metrics.properties 控制metrics在hadoop上如何发布的属性
11、log4j.properties 系统日志文件、namenode审计日志、tasktracker子进程的任务日志的属性
- hadoop集群目录和端口配置
- hadoop集群目录和端口配置(详细)
- hadoop集群目录配置与注意事项
- hadoop集群常用端口
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop 集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- hadoop集群默认配置和常用配置
- Amazon DynamoDB详解
- 中国iPhone用户比Android用户更浪漫、更愿意花钱
- 黑马程序员_用div和css简单搭建网页模型
- Objective-C中的@property和@synthesize用法
- OpenGL学习笔记2
- hadoop集群目录和端口配置
- ios:text view小结
- union
- Android实用代码片段
- SVN客户端--TortoiseSVN使用说明
- StringUtils的isBlank与isEmply
- android绚丽的ListView表格效果的实现
- 人生关键的就是几个转折点
- 网站设计之读懂色彩,倾听色彩的声音~