Hadoop的几个明显缺点
来源:互联网 发布:电脑网络设置 编辑:程序博客网 时间:2024/04/30 14:46
Hadoop的几个明显缺点如下:
1. 采用Java实现。Java的IO处理虽然没有性能瓶颈,但是对于CPU密集型的任务是一个噩耗。这点可以通过对比HBase和Hypertable两个开源的Bigtable实现来做初步的验证。
2. 开源项目。开源本身是一柄双刃剑,它方便了大多数人,但是对于一个有一定规模的公司,项目发展方向的把握,技术保密,技术支持等都是采用Hadoop这种开源项目必须考虑的问题。另外,Hadoop作为一个比较新的项目,性能和稳定性的提升还需要一定时间。
1. 简化运维:在大规模集群中,机器宕机,网络异常,磁盘错都属于正常现象,因此错误检查,自动恢复是核心架构目标。Google的解决方案就已经做到了机器随时加入/离开集群。
2. 高吞吐量:高吞吐量和低延迟是两个矛盾的目标,Hadoop优先追求高吞吐量,设计和实现中采用了小操作合并,基于操作日志的更新等提高吞吐量的技术。
3. 节省机器成本:Hadoop鼓励部署时利用大容量的廉价机器(性价比高但是机器故障概率大),数据的存储和服务也分为HDFS和HBase两个层次,从而最大限制地利用机器资源。
4. 采用单Master的设计:单Master的设计极大地简化了系统的设计和实现,由此带来了机器规模限制和单点失效问题。对于机器规模问题,由于 Hadoop是数据/计算密集型系统,而不是元数据密集型系统,单Master设计的单个集群可以支持成千上万台机器,对于现在的几乎所有应用都不成问题;而单点失效问题可以通过分布式锁服务或其它机制有效地解决。
1. 采用Java实现。Java的IO处理虽然没有性能瓶颈,但是对于CPU密集型的任务是一个噩耗。这点可以通过对比HBase和Hypertable两个开源的Bigtable实现来做初步的验证。
2. 开源项目。开源本身是一柄双刃剑,它方便了大多数人,但是对于一个有一定规模的公司,项目发展方向的把握,技术保密,技术支持等都是采用Hadoop这种开源项目必须考虑的问题。另外,Hadoop作为一个比较新的项目,性能和稳定性的提升还需要一定时间。
1. 简化运维:在大规模集群中,机器宕机,网络异常,磁盘错都属于正常现象,因此错误检查,自动恢复是核心架构目标。Google的解决方案就已经做到了机器随时加入/离开集群。
2. 高吞吐量:高吞吐量和低延迟是两个矛盾的目标,Hadoop优先追求高吞吐量,设计和实现中采用了小操作合并,基于操作日志的更新等提高吞吐量的技术。
3. 节省机器成本:Hadoop鼓励部署时利用大容量的廉价机器(性价比高但是机器故障概率大),数据的存储和服务也分为HDFS和HBase两个层次,从而最大限制地利用机器资源。
4. 采用单Master的设计:单Master的设计极大地简化了系统的设计和实现,由此带来了机器规模限制和单点失效问题。对于机器规模问题,由于 Hadoop是数据/计算密集型系统,而不是元数据密集型系统,单Master设计的单个集群可以支持成千上万台机器,对于现在的几乎所有应用都不成问题;而单点失效问题可以通过分布式锁服务或其它机制有效地解决。
- Hadoop的几个明显缺点
- 深度学习四个明显的缺点
- 几个STL的缺点
- 需要改掉的几个缺点
- Hadoop的特点与缺点
- hadoop的几个排序
- Hadoop 特点 和缺点
- 在使用AsyncTask的时候我们可以看到几个明显的缺陷和问题
- 一个明显的骗局
- static的明显作用
- Hadoop几个重要的JIRA
- Hadoop的几个守护进程
- Hadoop 作业的几个参数
- 学习hadoop 的几个基础
- 四点明显的癫痫病症状
- 分层的缺点、面向对象的缺点
- Dreamweaver MX 2004几个垃圾缺点。《原创》
- Hadoop 安装的几个关键点
- Animations功能
- 寒假集训作业(6)——动态规划初步
- 2013年科技创业者将会拥有更多机会
- typedef用法小结
- The Love of a King——8、The Storm
- Hadoop的几个明显缺点
- Win7系统如何制作ISO光盘镜像
- Cannot use output buffering in output buffering display handlers
- MJ评-<<007大破天幕危机>>8.5分
- poj 1659 Frogs' Neighborhood
- [JavaScript]关于JavaScript中DOM对象的使用
- Facebook Graph Search (FGS)一个加上社交链、人性化标签的巨大搜索
- android_由于BOM头导致的Json解析出错
- 关于html5的6个传说!!!