hadoop部署概要

节点分配：

控制节点14个、数据节点16个

HDFS

NameNode（server01-server02）、DataNode（server15-server30）、JournalNode（server09-server11）、ZKFC（server01-server02）

Yarn

ResourceManager（server06、server08）、NodeManager（server15-server30）、JobHistoryServer（server06）

Hbase

Hmaster（server10-server11）、RegionServer（server15-server30）、ThriftServer（server09-server11）

Zookeeper

Quorumpeer（server03-server05）

Hive

HiveServer（server12、server14）、HiveMetastoreServer（server12、server14）

Spark

SparkMaster（server06-server07）、SparkSQL（server07）、SparkWorker（server15-server30）

Storm

Nimbus（server09、server11）、Supervisor（server15-server30）

Solr

SolrServer（server15-server30）

Kafka

Kafka（server15-server30）

Flume

Flume（server15-server30）

Hue

Hue（server13）

Sqoop

Sqoop（server14）

DBServer

MYSQL（server12）

Imapla

Imaplad（server15-server30）、StateStore（server03-server05）、Catalog（server03-server05）

端口号分配：

组件节点默认端口配置用途说明HDFSDateNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDateNode50075dfs.datanode.http.addresshttp服务的端口HDFSDateNode50020dfs.datanode.ipc.addressipc服务的端口HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口HDFSNameNode8020fs.defaultFS接收Client连接的RPC端口，用于获取文件系统metadata信息。HDFSjournalnode8485dfs.journalnode.rpc-addressRPC服务HDFSjournalnode8480dfs.journalnode.http-addressHTTP服务HDFSZKFC8019dfs.ha.zkfc.portZooKeeper FailoverController，用于NN HAYARNResourceManage8088yarn.resourcemanager.webapp.addresshttp服务端口YARNNodeManager8042yarn.nodemanager.webapp.addresshttp服务端口YARNJobHistory Server10020mapreduce.jobhistory.addressIPCYARNJobHistory Server19888mapreduce.jobhistory.webapp.addresshttp服务端口HBaseMaster60000hbase.master.portIPCHBaseMasterUI16010hbase.master.info.porthttp服务端口HBaseRegionServer16020hbase.regionserver.portIPCHBaseRegionServer16030hbase.regionserver.info.porthttp服务端口HBaseThriftServer9090 ThriftServerHiveMetastore9083/etc/default/hive-metastore
export PORT=<port> HiveHiveServer10000/etc/hive/conf/hive-env.sh
export HIVE_SERVER2_THRIFT_PORT=<port> ZooKeeperServer2181/etc/zookeeper/conf/zoo.cfg中clientPort=<port>对客户端提供服务的端口ZooKeeperServer2888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]follower用来连接到leader，只在leader上监听该端口ZooKeeperServer3888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]用于leader选举的。只在electionAlg是1,2或3(默认)时需要启动命令：

集群组件节点命令HDFSNameNodehadoop-daemon.sh start namenodeDataNodehadoop-daemon.sh start datanodeJournalNodehadoop-daemon.sh start journalnodeZKFC YarnResourceManageryarn-daemon.sh start resourcemanagerNodeManageryarn-daemon.sh start nodemanagerJobHistoryServermr-jobhistory-daemon.sh start historyserverHBaseHmasterhbase-daemon.sh start masterRegionServerhbase-daemon.sh start regionserverThriftServerhbase-deamon.sh start thrift2ZookeeperQuorumpeerzkServer.sh startHiveHiveServerhive --service metastore &HiveMetastoreServerhive --service hiveserver2 &SparkSpark Masterstart-master.shSpark SQLspark-sqlSpark Workerstart-master.sh