通过webdav协议将hdfs挂载到本地

来源:互联网 发布:计算机在生物的数据 编辑:程序博客网 时间:2024/06/01 08:27
hdfs-webdav能讲hdfs映射为本地文件系统。通过实现webDav Http协议。可以如使用本地文件系统一样使用hdfs。
部署过程:(hadoop版本为1.2.1,使用高版本有一些问题)
  1. 下载war包
  2. 修改WEB-INF/classes/hadoop-site.xml,修改fs.default.name属性,以确定hdfs-webdav要连接的hadoop namenode server.
  3. 替换hadoop的核心jar包。hadoop-core-1.2.1.jar。commons-configuration-1.6.jar,commons-lang-2.4.jar。
  4. 部署到tomcat中,版本为6.0.37.(其他版本可能不行)。配置启动端口,不要与机器上其他端口重复。例如:启动端口8080.停止端口为8003。启动后可以在浏览器中察看。http://ip:port/hdfs-webdav。
  5. 挂载到本地。安装hdfs-webdav/linux-mount-lib下的三个安装包,安装顺序neon->davfs2->fuse.都是编译安装(./configure;make;make install)。如果安装错误,请下载最新安装包安装。然后创建davfs2用户和用户组。groupadd davfs2;useradd -g davfs2 davfs2;然后进行root权限执行挂载mount.davfs http://localhost:8080/hdfs-webdav mount_dir,然后提示输出用户名(输入davfs2),密码(为空,直接回车)。挂载成功。其中http地址为hdfs-webdav的访问地址
http://blog.csdn.net/xia_yu_mao_fa/article/details/37825713



备注:(修改tomcat的默认字符集)

$tomcat_home/conf/server.xml


    <Connector port="8080" protocol="HTTP/1.1" 
               connectionTimeout="20000" 
               redirectPort="8443" URIEncoding="utf-8" useBodyEncodingForURI="true"/>


    <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="utf-8"/>


    0 0