百度Hadoop分布式系统揭秘:4000节点集群
来源:互联网 发布:怎么打开mac的airplay 编辑:程序博客网 时间:2024/06/05 13:23
百度Hadoop分布式系统揭秘:4000节点集群
2010-11-02 11:49 | 6143次阅读 | 【已有11条评论】发表评论
来源:CSDN | 作者:谭茂 | 收藏到我的网摘
百度的高性能计算系统(主要是后端数据训练和计算)目前有4000节点,超过10个的集群,最大的集群规模在1000个节点以上。每个节点由8核CPU以及16G内存以及12TB硬盘组成,每天的数据生成量在3PB以上。规划当中的架构将有超过1万个节点,每天的数据生成量在10PB以上。
底层的计算资源管理层采用了Agent调度不同类型的计算分别给MPI结构的算法和Map-Reduce和DAG算法应用等。而通过调度的分配,可以让HPC高性能计算集群和大规模分布式集群各得其所的计算相应数据。
百度通过HCE对streaming作业的排序,压缩,解压缩,内存控制进行了优化并提供了C++版的MapReduce接口。
百度HCE语言的有关内容,HCE是基于C++的Hadoop环境,是一个全功能C++环境,可以避开Java语言对于释放内存和资源申请的弊端,并在调用数据时绕开Java语言的所有关节,极大的提升算法效率。
百度的调度器是在capacity-scheduler的基础上根据自身业务改进的。
百度计划对shuffle流程进行大幅改造
- 百度Hadoop分布式系统揭秘:4000节点集群
- 百度Hadoop分布式系统揭秘:4000节点集群
- Hadoop分布式集群系统添加节点
- Hadoop分布式集群系统 动态添加节点
- Hadoop在百度的应用--4000个节点的分布式集群
- Hadoop在百度的应用--4000个节点的分布式集群
- Hadoop在百度的应用--4000个节点的分布式集群
- 【hadoop】5001- 搭建分布式集群节点规划
- Hadoop系统完全分布式集群搭建方法
- Linux系统搭建完全分布式Hadoop集群
- 安装单节点伪分布式 CDH hadoop 集群
- Hadoop单节点集群安装(伪分布式安装)
- 5节点Hadoop分布式集群搭建-超详细文档
- Hadoop、ZooKeeper、Hive、HBase 七节点分布式集群搭建
- Hadoop集群安装部署---单节点伪分布式
- 5节点Hadoop分布式集群搭建经验分享
- Hadoop集群安装部署---从单节点的伪分布式扩展为多节点分布式
- 多节点分布式集群
- [Root权限/提取] i9000 android 2.2 目前最简单root和data to 2G的方法及详解
- Dao模式
- 使用MySQL数据库值得注意的23个事项
- 使用FormsAuthentication进行身份验证的优缺点
- MYSQL重装时需要旧密码解决方法
- 百度Hadoop分布式系统揭秘:4000节点集群
- SQL Server 2005 创建到 Oracle10g 的链接服务器
- C中“##”符号的用法
- Linux 内核编译 —— make localmodconfig 简化内核配置流程
- 作业论文1 --- 对目前拍拍网的一些建议
- pipelined 函数
- Error creating bean with name 'userService' defined in class path resource [beans.xml]: Unsatisfied dependency expressed through
- 2010最危险的编程错误
- SendDTMF