企业级hadoop集群选型配置

硬件配置

处理器： 2个四核2-2.5GHz的CPU

内存： 16-24GB

存储器：4 * 2TB SATA硬盘（不需要RAID）

网络： 千兆以太网

软件配置

操作系统： 发型版的64位linux（CentOS, Ubuntu, Redhat）

Hadoop版本： 免费的有Apache, CDH，付费的有华为，EMC，INTEL的

JDK: 64位的jdk， 32最大只能支持3G内存

淘宝的hadoop集群规模

1700个节点，数据总量17PB，每天增长20TB， 每天的MR任务有4万个

Master节点包括Jobtracker, Namenode, SecondNamenode

       硬件配置： 16CPU*4核， 96G内存

Slave节点包括Tasktracker和Datanode

       硬件配置： 8~16CPU*4核，16~24G内存

网络的拓扑结构