开源代码Hadoop NFS connector (链接分享)
来源:互联网 发布:义乌淘宝村 编辑:程序博客网 时间:2024/06/11 14:13
Hadoop 本身有自己的文件系统HDFS,传统的做法是数据保存到Hadoop Cluster的HDFS系统,然后再做数据分析。
在很多实际应用,数据往往分布在各种各样的存储系统或者文件系统,比如亚马孙公有云AWS的S3,Linux EXT3,Window的NTFS等等。
NFS 是网络文件系统,是一种分布式文件系统协议,很好地解决了网络间的文件共享问题,被广泛使用,具体介绍参见 https://en.wikipedia.org/wiki/Network_File_System。
如果Hadoop想分析从其他文件系统传过来的数据流,由于该文件系统不被hadoop支持,所以需要先把数据存放到HDFS,然后再做数据分析。而如果Hadoop支持该文件系统,则可以直接从该文件系统取数据,然后做数据分析,少了一个从某文件系统copy到HDFS的过程,提高了效率。
Hadoop NFS connector 主要由NetApp 公司开发的, 源代码链接为https://github.com/NetApp/NetApp-Hadoop-NFS-Connector
Hadoop可以通过添加NFS connector, 使得Hadoop支持各种各样的文件系统访问,只要该文件系统支持NFS协议。
0 0
- 开源代码Hadoop NFS connector (链接分享)
- MongoDB Connector for Hadoop
- 开源代码分享
- Android开源代码分享
- 开源代码链接集合
- 开源代码链接
- VS2015 使用Mysql-connector/c++ 链接数据库(环境配置)
- hadoop HA部署(NFS方案)
- 分享公司内部开源代码1
- android经典开源代码分享
- Hadoop源代码分析(一)
- Hadoop源代码分析(一)
- Hadoop源代码分析(二)
- Hadoop源代码分析(三)
- Hadoop源代码分析(IFile)
- Hadoop源代码分析(MapTask)
- Hadoop源代码学习(完整版)
- Hadoop源代码学习(完整版)
- 机器学习 --算法思想梳理
- CentOS升级python后遇到问题解决办法
- popup.js弹出层回调关闭
- 为什么要用单例模式?
- 23 服务音乐的启动Demo4
- 开源代码Hadoop NFS connector (链接分享)
- 大型多人在线游戏服务器架构设计 - RPC封装原理
- 进程间的通信方式
- HDU-5584 LCM Walk(GCD/LCM+找规律)
- 用SQL*PLUS创建网页
- 啊啊啊求c(n,k)
- 图之 邻接表 邻接矩阵 结构体定义
- redis学习教程
- centos php扩展开发流程