HDFS_视图文件系统
来源:互联网 发布:数据库镜像与备份 编辑:程序博客网 时间:2024/06/06 03:10
视图文件系统的含义
ViewFileSystem不是一个新的文件系统,只是逻辑上的一个视图文件系统,在逻辑上是唯一的。其将各个集群的真实文件路径与ViewFileSystem内新定义的路径进行关联映射,好比文件系统中挂载的意思。
ViewFileSystem真正干的事情可以理解为路径的路由解析,其可以跨越多个集群,保持文件系统逻辑上的一致性。
视图文件系统的作用
传统数据合并的方案是用distCp远程拷贝,但随着数据量规模的升级,会有以下问题出现:
① 拷贝周期太长,如果数据量非常大,在机房总带宽有限的情况下,拷贝的时间将会非常长
② 数据在拷贝的过程中,一定会有原始数据的变更与改动,如何同步这些数据也是需要考虑的方面
视图文件系统的使用
第一步:创建viewfs名称
在core-site.xml中配置fs.defaultFS属性:
<name>fs.defaultFS</name><value>viewfs://MultipleCluster</name>
第二步:添加挂载关系
<name>fs.viewfs.mounttable.MultipleCluster.link./viewfstmp</name><value>hdfs://nn1/tmp</value>
这里的nn1就是真实的集群路径
在配置前后验证:hadoop fs -ls /tmphadoop fs -ls /viewfstmp
这些挂载信息会维护在客户端的内存中,不需要重启NameNode和DataNode
阅读全文
0 0
- HDFS_视图文件系统
- HDFS_缓存
- HDFS_快照
- HDFS_块
- HDFS_流
- HDFS_基本概念
- HDFS_异构存储
- HDFS_副本和认证
- HDFS_磁盘目录服务
- HDFS_数据加密空间
- HDFS_纠删码技术
- HDFS_对象存储
- HDFS_镜像文件
- HDFS_数据迁移&节点迁移
- 文件系统
- 文件系统
- 文件系统
- 文件系统
- 头条相关的研究论文里的方法
- Android自定义View(1)
- KM算法详解+模板(二分图最大权值匹配)
- Expression Expand
- git+jenkins配置
- HDFS_视图文件系统
- 【NOIP2017普及组正式赛】 图书管理员
- Android 简单各种机制集合(面)(待补充)
- kotlin 第八站
- 生活小记40
- NFC相关学习------第一篇
- CAD流程图
- Ehcache 2 介绍
- 【OpenCV】视频/图像背景减除方法