分布式集群中的硬件选择
来源:互联网 发布:原生js隐藏元素 编辑:程序博客网 时间:2024/06/06 20:32
一、背景
最近2个月时间一直在一个阴暗的地下室的角落里工作,主要内容就是hadoop相关的应用。在这期间,Hadoop的应用确实得到认可,但是同时也带来了一些问题,软件方面我就不在这里说了,只说说一些物理方面的局限:
1、众所周知,hadoop能够接受任何类型的机器加入集群,在多不在精。但是这带来一个问题,机房的空间开销以及电费。
2、机器太多,人力维护成本也是增加的。机柜啊、物理空间都是个不小的负担和开销。
刚好,在这个问题产生的同时,十分幸运的被一同事叫出来,去参加一个会议,得以有机会走上地面。这个会议是个联合性质的,多个公司的人在一起。其中有一家公司在海量数据计算方面力推hadoop,并做了比较好的配套开发工作。比如工作流、数据清洗过滤、输出数据管理等。其实这些应用模型都大同小异。但最引起我关注的是他们的硬件方面的选型,确实很有新意(当然,可能由于我对硬件不熟悉,说的不对还望朋友们别笑话)。
二、具体内容
在昨天会议上,对方提到了自己采用的硬件设备,能很好的解决物理空间和维护成本的问题(当然,我也碰到不在乎空间和电费的主。地方有的是,就是希望把以前淘汰的机器都用上)。他们的机器类型是一款2U的设备,在这个2U的机器上集成了4块主板,12块硬盘。什么意思呢,说白了,就是把4台机器集成到了一个2U的设备上。除了电源共用(没问电源多少瓦的,一激动,忘记问了),其他都是独立的。这样的机器类型大大的节约了物理空间。试想一下,一个机柜10台2U设备,传统的只能存放10台节点机器。如果换成这样的2U设备,可以存放4×10=40台节点机器,空间利用缩小,这样的机器我觉得还是很客观的。
三、总结
1、我不是在做广告,只是觉得这样的硬件类型确实是很适合hadoop集群的使用。
2、硬件方面我不是很熟悉,可能熟悉硬件的朋友对这个都比较了解了,所以我说错了还望指出来。
3、分布式计算的集群确实可以很好的解决海量计算问题,但是带来规模庞大的硬件数量确实在空间和电费上是个挑战。
4、写的不对或是有争议的地方,随时欢迎大家发邮件讨论:dajuzhao@gmail.com
- 分布式集群中的硬件选择
- Hadoop集群硬件选择文章两篇
- Hadoop 集群如何选择合适的硬件
- Hadoop 集群如何选择合适的硬件
- 分布式数据库集群中间件------分布式中的概念
- 集群中的分布式发布订阅
- 分布式数据库集群中间件------为什么选择MySQL
- 如何为Hadoop集群选择合适的硬件
- Hadoop集群服务器以及相关硬件选择的一些认识
- 为Hadoop集群选择合适的硬件配置
- 为Hadoop集群选择合适的硬件配置
- 为Hadoop集群选择合适的硬件配置
- Hadoop集群服务器以及相关硬件选择的一些认识
- 如何为Hadoop集群选择正确的硬件
- 简析分布式集群中的session一致性
- 分布式 集群
- 集群分布式
- 分布式 集群
- 无题
- 游戏发展国Game Dev Story登陆Android
- 架构设计:进程还是线程?是一个问题!
- 获取免费Aster G-Dem数据
- Java转型(向上或向下转型)
- 分布式集群中的硬件选择
- Winsock IOCP模型(二)
- DataTable添加列和行的方法
- 架构设计:生产者/消费者模式
- oracle exp/imp备份和恢复
- 单例模式
- 重装Windows7后,Ubuntu无法启动的解决方案(与XP不同)
- PHP 日历代码(可绑定事件)
- 转:Work with filter Web Parts