hadoop集群部署，内存，存储配置

翻译自：http://blog.octo.com/en/hadoop-in-my-it-department-how-to-plan-a-cluster/ 和http://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/

一 推荐配置

每100万块存储，需要1GB的NameNode，假若集群中有100个节点，则64GB的内存是足够的。同时建议，在NameNode和JobTracker上都配置HA，CDH4已实现此功能。

推荐的 DataNode/TaskTrackers 配置

    <1>  12-24块1-4TB的磁盘，简单磁盘捆绑

    <2>  2个四核/将十六进制/八核处理器，2-2.5G Hz以上

    <3>  65-248 GB RAM

    <4> 千兆以太网或万兆以太网

 

推荐的NameNode/JobTracker/Standby NameNode 配置

   <1> 4-6块 1TB的磁盘（1块作为操作系统，2块作为RAID 1 FS image（文件系统镜像？），1块为zookeeper，1块为Journal node)）

  <2>  2个四核/将十六进制/八核处理器。2-2.5G Hz以上

  <3>  64-128G RAM

  <4>  千兆或万兆以太网

 其他

轻量级计算配置（每台机器 1U）：

            两颗六核心处理器，24-64GB内存和8个1-2TB的磁盘

均衡计算配置（每台机器1U）

           两颗六核心处理器，48-128GB内存和12-16个1-2TB的磁盘（用主板控制器直接挂载）

 重度存储配置（每台机器2U）：

  

 

二  详细的配置

如何决定

 1 存储需求

   >共享需求

   >NameNode和SecondNameNode

   >DataNode需求

 

(1)  共享需求

操作系统分区，操作系统日志分区。这些都是固定的，正常分配

(2)  NameNode和Second NameNode

它们必须使用相同的配置，相同的硬件。 1TB的写文件分区足够。

(3)  DataNode

      SAS 6GB/S 配置在简单磁盘捆绑的控制器

      SATA II  7200 RPM 的1-3TB的磁盘

不要在DataNode上配置RAID，HDFS自己有提供。

注意：每块磁盘30%的容量都留作非HDFS使用

 

如何决定NameNode 和Second NameNode内存，公式如下：

Second NameNode内存

= NameNode内存

=HDFS集群管理内存+2GBNameNode 处理+4GB（操作系统）

 

如何决定DataNode内存

      DataNode的内存需求取决于其运行的job，对于I/O频繁的job，每个物理核 2GB-4GB，对于CPU消耗型job，每个物理核6-8GB。无论哪种情况，必须再额外加上以下：

     >2GBDataNode 处理，用来管理HDFS块。

     >2GBTaskTracker处理，用来管理运行在其上的task

     >4GB 操作系统