hadoop常用进程和web端口整理

应用场景

Hadoop部署完分布式集群后，运行了一些组件，会产生很多进程，和web可以访问的端口，容易混淆，这里把一些常见的进程，进程的作用和端口进行归纳，总结，方便区分。

操作步骤

1. HDFS进程及端口

HDFS启动后包含的进程有：NameNode，DataNode，SecondaryNameNode

启动方法，在主节点：

 #  cd /opt/hadoop2.6.0/sbin/ #  ./start-dfs.sh

启动完后访问端口为50070，通过主节点IP加上端口即可访问：

2. YARN进程及端口

YARN启动后包含的进程有:Resourcemanager，NodeManager

启动方法，在主节点：

 # cd /opt/hadoop2.6.0/sbin/  # ./start-yarn.sh

启动完后访问端口为8088，通过主节点IP加上端口即可访问：

3. ZooKeeper进程

Zookeeper启动后包含的进程是：QuorumPeerMain

注：

HQuorumPeer进程是hbase管理的zookeeper
QuorumPeerMain进程就是zookeeper独立的进程
也就是说，如果您用的是hbase的zookeeper，那么就是HQuorumPeer进程

启动方法，在需要启动ZooKeeper的节点上：

 # cd /opt/zookeeper3.4.10/bin/  # zkServer.sh start

4. HBASE进程及端口

Hbase启动后包含的进程有 : HMaster，HRegionServer

启动方法，在主节点：

 # cd /opt/hbase1.2.6/bin  # ./start-hbase.sh

启动完后访问端口为16010，通过主节点IP加上端口即可访问：

5. Spark进程及端口

Spark启动后包含的进程有 : Master Worker

启动方法，在主节点：

 # cd /opt/spark1.6.1/sbin  # ./start-all.sh

启动完后访问端口为8080，通过主节点IP加上端口即可访问：【资源监控地址master】

启动后4040任务监控端口并没有开启，需要spark-shell –master spark://hadoop0:7077，执行：【任务监控地址Drive】

注意：

  spark-shell          【local模式，在4040端口监控任务】  spark-shell --master spark://hadoop0:7077  【standalone模式，在8080端口监控任务】  spark-shell --master yarn-client          【yarn-client模式，在yarn 8088端口监控任务】  spark-shell --master yarn-cluster         【yarn-cluster模式，在yarn 8088端口监控任务】