HDFS特点(优缺点)
来源:互联网 发布:外国人来中国知乎 编辑:程序博客网 时间:2024/06/06 12:37
HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。到底HDFS有哪些特点呢?
优点
a)高容错性
i.保存多个副本,且提供容错机制。ii.副本丢失或宕机自动恢复。默认存3份。
b)运行在廉价的机器上(商用机)
i.通过副本提高可靠性ii.提供了容错和恢复机制
c)适合批处理
i.移动计算而非数据ii.数据位置暴露给计算框架。NameNode上有位置
d)适合大数据的处理,多大?多小?
i.TB,甚至PB级数据ii.百万规模以上的文件数量iii.10K+节点规模iv.HDFS默认会将文件分割成block,64M为1个block。然后将block按键值对存储在HDFS上,并将键值对的映射存到内存中。如果小文件太多,那内存的负担会很重。
e)流式数据访问
i.一次写入,多次读取,高吞吐量,所以可以同时处理大量数据
缺点
a)不擅长低延迟数据访问
比如毫秒级
b)不擅长小文件的分区
占用NameNode大量内存磁盘寻道时间超过读取时间
c)不擅长并发写入,文件随机修改
一个文件只能有一个写入者 仅支持append,也就是添加(有组件实现删等)
阅读全文
1 0
- HDFS特点(优缺点)
- hdfs优缺点
- HDFS优缺点
- HDFS 优缺点
- HDFS特点
- Mybatis特点、优缺点
- HDFS的优缺点
- HDFS文件系统的优缺点
- Hadoop中HDFS优缺点
- Hadoop-HDFS的特点
- HDFS的特点
- HDFS的特点
- 主流编程语言的特点以及优缺点(一)
- 主流编程语言的特点以及优缺点(二)
- HDFS笔记(特点、原理与基本架构)
- ExtJs特点、优缺点及注意事项
- HDFS体系结构简介及优缺点
- HDFS体系结构简介及优缺点
- 京东2016招聘笔试题<分苹果>Java代码
- ESP8266如何烧写程序(noboot版本)
- Python初级项目记
- 设计模式--代理模式
- C语言实现的线程池
- HDFS特点(优缺点)
- spring定时器触发时间表达式规则
- 混合拉普拉斯
- LDA主题模型代码实现流程
- 尝试在C++里实现 Java 的 synchronized 关键字
- webpack代码分割-使用require.ensure
- Uncaught TypeError: Cannot read property 'getItem' of null
- Picasso的简单使用
- 腾讯arttemplate模板官方介绍