hdfs常用的端口配置

常用的端口配置

1、 HDFS端口

 

参数

描述

默认

配置文件

例子值

fs.default.name namenode

namenode RPC交互端口

8020

core-site.xml

hdfs://master:8020/

dfs.http.address 

NameNode web管理端口

50070

hdfs- site.xml

0.0.0.0:50070

dfs.datanode.address

datanode　控制端口

50010 

hdfs -site.xml 

0.0.0.0:50010

dfs.datanode.ipc.address

datanode的RPC服务器地址和端口

50020

hdfs-site.xml

0.0.0.0:50020

dfs.datanode.http.address

datanode的HTTP服务器和端口

50075

hdfs-site.xml 

0.0.0.0:50075

2、 MR端口

参数

描述

默认

配置文件

例子值

mapred.job.tracker

job-tracker交互端口 

8021

mapred-site.xml

hdfs://master:8021/

job

tracker的web管理端口

50030

mapred-site.xml

0.0.0.0:50030

mapred.task.tracker.http.address

task-tracker的HTTP端口

50060

mapred-site.xml

0.0.0.0:50060

3  其它端口

参数

描述

默认

配置文件

例子值

dfs.secondary.http.address

secondary NameNode web管理端口

50090

hdfs-site.xml

0.0.0.0:50090

3、三个缺省配置参考文件说明

3.1  core-default.html

参数名

参数值

参数说明

hadoop.tmp.dir

/tmp/hadoop-${user.name}

临时目录设定

hadoop.native.lib

true

使用本地hadoop库标识。

io.file.buffer.size

4096

流文件的缓冲区为4K

fs.default.name

file:/// 

缺省的文件URI标识设定。

3.2  hdfs-default.html/mapred-default.html

参数名

参数值

参数说明

dfs.namenode.logging.level

info

输出日志类型

dfs.secondary.http.address

0.0.0.0:50090

备份名称节点的http协议访问地址与端口

dfs.datanode.handler.count

3             

数据节点的服务连接处理线程数

dfs.name.dir 

${hadoop.tmp.dir}/dfs/name

存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份

dfs.data.dir 

${hadoop.tmp.dir}/dfs/data

数据节点的块本地存放目录

mapred.local.dir

${hadoop.tmp.dir}/mapred/local

MR的中介数据文件存放目录

mapred.system.dir 

${hadoop.tmp.dir}/mapred/system

MR的控制文件存放目录

mapred.temp.dir 

${hadoop.tmp.dir}/mapred/temp

MR临时共享文件存放区 

mapred.map.tasks 

2

每个作业缺省的map任务数为2

mapred.reduce.tasks

1

每个作业缺省的reduce任务数为1