关于hadoop组件的端口的用处
来源:互联网 发布:linux设置待机时间 编辑:程序博客网 时间:2024/05/21 14:56
转自该博客:http://blog.csdn.net/lifuxiangcaohui/article/details/51193550
Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。
这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:
组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口,用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode.https.addresshttps服务的端口HDFSDataNode50020dfs.datanode.ipc.addressipc服务的端口HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口HDFSNameNode50470dfs.namenode.https-addresshttps服务的端口HDFSNameNode8020fs.defaultFS接收Client连接的RPC端口,用于获取文件系统metadata信息。HDFSjournalnode8485dfs.journalnode.rpc-addressRPC服务HDFSjournalnode8480dfs.journalnode.http-addressHTTP服务HDFSZKFC8019dfs.ha.zkfc.portZooKeeper FailoverController,用于NN HAYARNResourceManager8032yarn.resourcemanager.addressRM的applications manager(ASM)端口YARNResourceManager8030yarn.resourcemanager.scheduler.addressscheduler组件的IPC端口YARNResourceManager8031yarn.resourcemanager.resource-tracker.addressIPCYARNResourceManager8033yarn.resourcemanager.admin.addressIPCYARNResourceManager8088yarn.resourcemanager.webapp.addresshttp服务端口YARNNodeManager8040yarn.nodemanager.localizer.addresslocalizer IPCYARNNodeManager8042yarn.nodemanager.webapp.addresshttp服务端口YARNNodeManager8041yarn.nodemanager.addressNM中container manager的端口YARNJobHistory Server10020mapreduce.jobhistory.addressIPCYARNJobHistory Server19888mapreduce.jobhistory.webapp.addresshttp服务端口HBaseMaster60000hbase.master.portIPCHBaseMaster60010hbase.master.info.porthttp服务端口HBaseRegionServer60020hbase.regionserver.portIPCHBaseRegionServer60030hbase.regionserver.info.porthttp服务端口HBaseHQuorumPeer2181hbase.zookeeper.property.clientPortHBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。HBaseHQuorumPeer2888hbase.zookeeper.peerportHBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。HBaseHQuorumPeer3888hbase.zookeeper.leaderportHBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。HiveMetastore9083/etc/default/hive-metastore中export PORT=<port>来更新默认端口 HiveHiveServer10000/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口 ZooKeeperServer2181/etc/zookeeper/conf/zoo.cfg中clientPort=<port>对客户端提供服务的端口ZooKeeperServer2888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分follower用来连接到leader,只在leader上监听该端口。ZooKeeperServer3888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分用于leader选举的。只在electionAlg是1,2或3(默认)时需要。备忘一下。
转载请标注原作者的博客地址:http://blog.csdn.net/lifuxiangcaohui/article/details/51193550
0 0
- 关于hadoop组件的端口的用处
- 关于hadoop端口的问题
- 关于博客的用处
- 端口,IP, TCP, UDP的用处
- 关于chdir函数的用处
- hadoop生态系统的端口
- hadoop系统的端口
- Hadoop的端口说明
- hadoop生态系统的端口
- hadoop的端口简介
- 关于二维指针的一个用处
- 关于C#问号(?)的三个用处
- .net关于嵌套类的一个用处
- 关于@transactional注解的用处与意义
- 关于端口的总结
- 关于正则项的用处 usefullness of regulation
- 关于头文件中常量和静态常量的用处
- 关于VO、DTO、DO、PO的概念、区别和用处
- ruby on rails 减少查询次数
- Intellig idea jdk明明是1.8了,还是 出现Diamond types are not supported at this language level
- JS原型设计模式(四)之缺陷(一)
- 移动端REM响应式模板及相应规范
- CSS样式中的 nav ul li ul 与 nav>ul>li
- 关于hadoop组件的端口的用处
- Android 炫酷的loading
- KMP问题详解
- java校验正则表达式
- Oracle 建立索引及利用索引的SQL语句优化
- Yii2 事务处理
- hdu 3507 Print Article
- centos设置静态地址
- Android 屏幕适配全攻略