hadoop能用到的系统端口

hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。

1.系统

8080，80 用于tomcat和apache的端口。

22 ssh的端口

2.Web UI

用于访问和监控Hadoop系统运行状态

Daemon缺省端口配置参数HDFSNamenode50070dfs.http.addressDatanodes50075dfs.datanode.http.addressSecondarynamenode50090dfs.secondary.http.addressBackup/Checkpoint node*50105dfs.backup.http.addressMRJobracker50030mapred.job.tracker.http.addressTasktrackers50060mapred.task.tracker.http.addressHBaseHMaster60010hbase.master.info.portHRegionServer60030hbase.regionserver.info.port* hadoop 0.21以后代替secondarynamenode .

3.内部端口

Daemon缺省端口配置参数协议用于Namenode9000fs.default.nameIPC: ClientProtocolFilesystem metadata operations.Datanode50010dfs.datanode.addressCustom Hadoop Xceiver: DataNodeand DFSClientDFS data transferDatanode50020dfs.datanode.ipc.addressIPC:InterDatanodeProtocol,ClientDatanodeProtocol
ClientProtocolBlock metadata operations and recoveryBackupnode50100dfs.backup.address同 namenodeHDFS Metadata OperationsJobtracker9001mapred.job.trackerIPC:JobSubmissionProtocol,InterTrackerProtocolJob submission, task tracker heartbeats.Tasktracker127.0.0.1:0*mapred.task.tracker.report.addressIPC:TaskUmbilicalProtocol和 child job 通信* 绑定到未用本地端口

 4.相关产品端口

产品服务缺省端口参数范围协议说明HBase Master60000hbase.master.portExternalTCPIPCMaster60010hbase.master.info.portExternalTCPHTTPRegionServer60020hbase.regionserver.portExternalTCPIPCRegionServer60030hbase.regionserver.info.portExternalTCPHTTPHQuorumPeer2181hbase.zookeeper.property.clientPortTCPHBase-managed ZK modeHQuorumPeer2888hbase.zookeeper.peerportTCPHBase-managed ZK modeHQuorumPeer3888hbase.zookeeper.leaderportTCPHBase-managed ZK modeREST Service8080hbase.rest.portExternalTCPThriftServer9090Pass -p <port> on CLIExternalTCP Avro server9090Pass –port <port> on CLIExternalTCPHiveMetastore9083ExternalTCPHiveServer10000ExternalTCPSqoopMetastore16000sqoop.metastore.server.portExternalTCPZooKeeper Server2181clientPortExternalTCPClient portServer2888X in server.N=host:X:YInternalTCPPeerServer3888Y in server.N=host:X:YInternalTCPPeerServer3181X in server.N=host:X:YInternalTCPPeerServer4181Y in server.N=host:X:YInternalTCPPeerHue Server8888ExternalTCPBeeswax Server8002InternalBeeswax Metastore8003InternalOozieOozie Server11000OOZIE_HTTP_PORT in oozie-env.shExternalTCPHTTPOozie Server11001OOZIE_ADMIN_PORT in oozie-env.shlocalhostTCPShutdown port

5.YARN(Hadoop 2.0)缺省端口

产品服务缺省端口配置参数协议Hadoop YARN ResourceManager8032yarn.resourcemanager.addressTCPResourceManager8030yarn.resourcemanager.scheduler.addressTCPResourceManager8031yarn.resourcemanager.resource-tracker.addressTCPResourceManager8033yarn.resourcemanager.admin.addressTCPResourceManager8088yarn.resourcemanager.webapp.addressTCPNodeManager8040yarn.nodemanager.localizer.addressTCPNodeManager8042yarn.nodemanager.webapp.addressTCPNodeManager8041yarn.nodemanager.addressTCPMapReduce JobHistory Server10020mapreduce.jobhistory.addressTCPMapReduce JobHistory Server19888mapreduce.jobhistory.webapp.addressTCP

6.第三方产品端口

ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。

产品服务安全缺省端口协议访问配置Gangliaganglia-gmond8649UDP/TCPInternalganglia-web80TCPExternal通过 Apache httpdKerberosKRB5 KDC ServerSecure88UDP*/TCPExternal[kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_portsKRB5 Admin ServerSecure749TCPInternal Kdc.conf 文件：[realms]段kadmind_