通过webdav协议将hdfs挂载到本地
来源:互联网 发布:计算机在生物的数据 编辑:程序博客网 时间:2024/06/01 08:27
hdfs-webdav能讲hdfs映射为本地文件系统。通过实现webDav Http协议。可以如使用本地文件系统一样使用hdfs。
部署过程:(hadoop版本为1.2.1,使用高版本有一些问题)
- 下载war包
- 修改WEB-INF/classes/hadoop-site.xml,修改fs.default.name属性,以确定hdfs-webdav要连接的hadoop namenode server.
- 替换hadoop的核心jar包。hadoop-core-1.2.1.jar。commons-configuration-1.6.jar,commons-lang-2.4.jar。
- 部署到tomcat中,版本为6.0.37.(其他版本可能不行)。配置启动端口,不要与机器上其他端口重复。例如:启动端口8080.停止端口为8003。启动后可以在浏览器中察看。http://ip:port/hdfs-webdav。
- 挂载到本地。安装hdfs-webdav/linux-mount-lib下的三个安装包,安装顺序neon->davfs2->fuse.都是编译安装(./configure;make;make install)。如果安装错误,请下载最新安装包安装。然后创建davfs2用户和用户组。groupadd davfs2;useradd -g davfs2 davfs2;然后进行root权限执行挂载mount.davfs http://localhost:8080/hdfs-webdav mount_dir,然后提示输出用户名(输入davfs2),密码(为空,直接回车)。挂载成功。其中http地址为hdfs-webdav的访问地址
http://blog.csdn.net/xia_yu_mao_fa/article/details/37825713
备注:(修改tomcat的默认字符集)
$tomcat_home/conf/server.xml
<Connector port="8080" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" URIEncoding="utf-8" useBodyEncodingForURI="true"/>
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="utf-8"/>
0 0
- 通过webdav协议将hdfs挂载到本地
- 通过nfs3将hdfs挂载到本地
- 使用NFSv3将HDFS挂载到本地
- 通过WebDAV协议访问的SVN服务器的搭建
- hdfs-webdav的war部署
- 通过NFSv3挂载HDFS到本地目录
- 通过NFSv3挂载HDFS到本地目录
- 通过NFSv3挂载HDFS到本地目录
- hadoop新特性通过NFSv3挂载HDFS到本地目录
- 通过虚拟机的hdfs读取本地mysql上的文件
- 将HDFS文件当中部分字节读入本地
- 使用get指令将文件从HDFS复制到本地
- Hdfs将服务器的整个文件夹拷贝到Linux本地
- 将linux本地文件夹上传到hdfs服务器
- 通过ssh将远程文件系统挂载至本地
- 通过NFSv3挂载HDFS到本地目录 -- 2安装配置hdfs-nfs网关
- 通过NFSv3挂载HDFS到本地目录 -- 2续hdfs-nfs网关解决错误
- WebDAV
- C语言link()函数:建立文件连接
- Android开发中OnTouchListener接口的返回值问题
- 【工作中遇到的小问题】select 用来定时
- tr'y--catch/IO流/file/
- java web知识梳理
- 通过webdav协议将hdfs挂载到本地
- SQL中 decode()函数的使用
- win10文件名或文件路径过长导致无法删除或复制的解决办法
- CCCC/GPLT L1-002 打印沙漏
- 企业应聘用 人资面试题及回答
- linux环境下使用V4L2及Qt设计简易照相机
- 编译器错误消息: CS1061: “ASP.yemian_reg_aspx”不包含“Button1_Click1”的定义,并且找不到可接受类型为“ASP.yemian_reg_aspx”的第一个参数的
- 快排的思想求第K小的数
- 无线连接外网,有线连接局域网