企业大数据平台的集群的大小与配置
来源:互联网 发布:淘宝旺铺专业版价格 编辑:程序博客网 时间:2024/06/08 20:09
基本组件:
Zookeeper 分布式协作框架
HDFD存储海量数据
YARN集群资源管理 资源调度
MapReduce并行计算框架
分为:
测试集群
机器数量:
5台-10台
机器的配置:(大数据平台的瓶颈:内存)hBash权威指南
1、内存 不低于24G 32G以上
Zookeeper节点(2G) HDFS (NameNode 每100万个文件需要1G内存;企业级 4G-8G-12G ;DataNode 4G-6G)YARN(ResourceManager 2G-4G NodeManager 2G) 每台机器的NameNode 内存、CPU越多越好,调度任务多; MapReduce 资源来源于NodeManager
2、硬盘 4TB/ 10T 越多越好 5台机器 20TB的存储
3、CPU 核数 6核以上 运行一个Map任务默认1G内存一核CPU
4、网卡:万兆 10万 100万 网线 光纤 影响数据读写和传输效率
生产集群 规模
小型集群 15-20台以下
中型集群 50台以下
大型集群 50台以上
测试
基本测试:功能测试
基准测试:性能测试 监控指标
阅读全文
0 0
- 企业大数据平台的集群的大小与配置
- 企查查支撑8000万+企业数据的大数据平台技术选型与实现
- 大数据可视化平台给企业带来的价值
- 大数据与企业的数据化运营
- (转载)大数据与企业的数据化运营
- 大数据与企业的数据化运营
- 企业大数据平台一:企业需求及相关的基本组件
- 企业大数据平台三:企业大数据平台安装
- 大数据引发的变革与企业面临的挑战
- 企业大数据平台架构
- 从存储、实时、安全的角度谈如何建立完整可用的企业大数据平台
- 大数据_Kafka_Kafka的常用指令 与 集群维护
- 金融科技&大数据产品推荐:蓝金灵—基于大数据的电商企业供应链金融服务平台
- 大数据可视化分析平台新应用:提升企业的数字营销策略
- 帮助企业做好MaxCompute大数据平台成本优化的最佳实践
- 帮助企业做好MaxCompute大数据平台成本优化的最佳实践
- 一位数据挖掘工程师眼中的“大数据与企业的数据化运营”
- 企业集群平台架构设计与实现
- 动态二维数组
- Spring Data JPA进阶-Spring-data-jpa全方位介绍
- 【洛谷】2464 [SDOI2008]郁闷的小J 平衡树
- Android NDK-JNI知识
- 用本地服务器解决node-sass安装失败问题
- 企业大数据平台的集群的大小与配置
- 显著性检测(一)Saliency Detection: A Spectral Residual Approach
- OpenGL es 绑定文理对象
- jquery ajax实现省市区三级联动
- 对象
- POJ 2376-Cleaning Shifts
- Java二维码生成和解析
- Swift中autoclosure和noescape关键字
- 媒体查询