客户端缓存 Staging
来源:互联网 发布:达内2017java视频下载 编辑:程序博客网 时间:2024/06/07 00:37
客户端创建文件的请求其实并没有立即发送给NameNode,事实上,在刚开始阶 段 HDFS客户端会先将文件数据缓存到本地的一个临时文件。应用程序的写操作被透明地重定向到这个临时文件。当这个临时文件累积的数据量超过一个数据块的大小, 客户端才会联系NameNode。NameNode 将文件名插入文件系统的层次结构中,并且 分配一个数据块给它。然后返回 DataNode的标识符和目标数据块给客户端。接着客 户端将这块数据从本地临时文件上传到指定的 DataNode 上。当文件关闭时,在临时 文件中剩余的没有上传的数据也会传输到指定的DataNode 上。然后客户端告诉 NameNode 文件已经关闭。此时 NameNode 才将文件创建操作提交到日志里进行存 储。如果 NameNode在文件关闭前宕机了,则该文件将丢失。 上述方法是对在 HDFS 上运行的目标应用进行认真考虑后得到的结果。这些应用需要进行文件的流式写入。如果不采用客户端缓存,由于网络速度和网络堵塞会对吞 估量造成比较大的影响。这种方法并不是没有先例的,早期的文件系统,比如 AFS,就用客户端缓存来提高性能。为了达到更高的数据上传效率,已经放松了 POSIX 标准 的要求。
阅读全文
0 0
- 客户端缓存 Staging
- 客户端缓存
- 客户端缓存!
- 客户端缓存
- 客户端缓存
- 浅析Staging
- PHP 缓存之客户端缓存
- HTTP缓存机制--客户端缓存
- 禁用客户端缓存
- 禁用客户端缓存
- 客户端缓存解决方案
- PHP禁用客户端缓存
- 禁用客户端缓存
- 客户端凭证缓存
- 禁用客户端缓存
- asp.net客户端缓存
- asp.net客户端缓存
- 客户端图片缓存
- oracle:子查询
- 我的第一篇博客
- CentOS 6.X配置连接网络
- 进程创建函数fork()返回值小解
- struct和class的区别
- 客户端缓存 Staging
- #Thinking in Java阅读笔记# 第十章 内部类
- 24 Point game(dfs)
- 【CC2640R2F】香瓜CC2640R2F之自定义服务
- Datanode故障问题
- SSM框架如何实现国际化
- NYOJ 查找最大元素
- Mybatis物理分页插件
- getElementById,getElementsByName,getElementsByTagName实例