cloudera建议的datanode配置
来源:互联网 发布:python强制类型转换 编辑:程序博客网 时间:2024/05/22 09:06
Typical ‘base’ configuration for a slave Node
– 4 x 1Tb hard drives, in a JBOD* configuration
– Do not use RAID! (See later)
– 2 x Quad-core CPUs, each 2.0GHz to 2.5GHz
– 16Gb RAM
– Gigabit Ethernet
翻译过来就是:
4块1TB硬盘,使用JBOD*配置(JBOD:http://baike.baidu.com/view/200148.htm)
不要使用RAID!
2块4核cpu,主频2.0-2.5GHz
16GB内存
千兆网络
硬盘不使用raid是因为hdfs本身就含有数据冗余备份机制,无需raid。raid会让费掉一部分磁盘空间,占用磁盘性能,2块以上磁盘失效可能导致整个raid区域失效。
2块4核cpu,配置每节点4map,4reduce的配置比较合适
16GB内存,视实际情况,若同时配置hbase,对内存要求会更高
千兆网络,性价比高,标配
- cloudera建议的datanode配置
- Cloudera的目录配置
- cloudera manager下的hive权限配置
- cloudera manager下的hive权限配置
- 基于Cloudera Manager配置Impala的资源管理
- cloudera manager下的hive权限配置
- 通过Cloudera Manager为datanode增加数据目录
- Cloudera SCM安装配置
- Cloudera Impala 安装配置
- cloudera manager配置
- Cloudera配置开发环境
- cloudera manager kerberos配置
- cloudera新增用户权限配置
- Cloudera NTP 配置
- Cloudera配置问题
- Cloudera 配置NameNode HA
- cloudera hadoop集群内lzo的安装与配置
- cloudera mamager中配置hive加载自定义的jar包
- SIFT/SURF算法的深入剖析——谈SIFT的精妙与不足
- 网闸结构和工作原理
- Wireshark 插件编写(转)
- 微风细雨,蛙声一片
- 学习Java的30个目标!!
- cloudera建议的datanode配置
- 利用SQLDMO返回SQL服务器指定的目录列表
- java_redefine
- 搜索引擎命令整理 1.0
- 求助纹理特征提取和检索
- 关于ExecuteScalar(),ExecuteNonQuery(),ExecuteReader()三者的区别以及运用
- 设计模式学习-抽象工厂(Abstract Factory)
- dbms_metadata导出role语句的定义
- 使用AIDL写Service