HFTP Guide
来源:互联网 发布:传智播客2016java视频 编辑:程序博客网 时间:2024/06/05 20:24
HFTP Guide
Introduction
HDFS是一个可以让你从远程HDFS集群读取数据的Hadoop文件系统的实现。数据读取通过HTTP,数据都在DataNode上。HFTP是一个只读的文件系统,如果你试图用它写或者修改文件系统的状态,将会抛出一个错误。
如果你用多个不同版本的HDFS集群,然后你需要在集群之间移动数据的话,HFTP是非常有用的。HFTP在不同HDFS版本之间都是兼容的。例如,你可以使用命令hadoopdistcp -i hftp://sourceFS:50070/src hdfs://destFS:50070/dest。注意,HFTP是只读的,因此,目的路径必须是一HDFS文件系统。(在这个例子中,distcp应该用新文件系统的配置运行)
一个扩展,HSFTP,默认使用HTTPS。这意味着数据在传输时将被加密。
Implementation
HFTP的实现类是org.apache.hadoop.hdfs.HftpFileSystem。同样的,HSFTP的实现是org.apache.hadoop.hdfs.HsftpFileSystem。
Configuration Options
dfs.hftp.https.port
the HTTPS port on the remote cluster. If not set, HFTP will fall back ondfs.https.port.
hdfs.service.host_ip:port
Specifies the service name (for the security subsystem) associated with the HFTP filesystem running at ip:port.
- HFTP Guide
- HFTP Guide
- hadoop安全之hftp
- Guide
- guide
- guide
- guide
- 指针Guide
- Rogue Guide
- Google guide
- Hardware Guide
- Transport Guide
- Hacking Guide
- PGP guide
- Bash Guide
- android guide
- COM Guide
- OS Guide
- 职场财富:人品永远是职场的“硬通货”
- ExtJs4 笔记(9) Ext.Panel 面板控件、 Ext.window.Window 窗口控件、 Ext.container.Viewport 布局控件
- git常用指令整理
- 暑期实训第六课(http协议学习)
- ExtJs4 笔记(10) Ext.tab.Panel 选项卡
- HFTP Guide
- Linux环境下 使MYSQL数据库支持InnoDB引擎
- Cannot return from outside a function or method
- maven 教程二 深入
- Andorid自定义title
- windows7上nginx+php+mysql开发环境搭建
- ios UICollectionView的使用
- ExtJs4 笔记(11) Ext.ListView、Ext.view.View 数据视图
- js匿名函数的调用例子