基于HDFS的FTP
来源:互联网 发布:剑灵人族男捏脸数据库 编辑:程序博客网 时间:2024/05/16 13:49
原文地址:http://blog.sina.com.cn/s/blog_3dbab2840100w2be.html
一家公司使用apache的ftpserver开发框架开发了针对hadoop的hdfs文件系统的ftp服务器,当然是开源的.站点:http://www.hadoop.iponweb.net/Home/hdfs-over-ftp
安装过程非常简单,本人只是在linux下安装过,windows下没有成功安装,linux下安装步骤如下:
1.下载安装文件并解压
http://www.hadoop.iponweb.net/Home/hd ... tp.tar.bz2?attredirects=0
tar zxvf hdfs-over-ftp.tar.bz2
2.配置
软件根目录下的hdfs-over-ftp.conf
设置hdfs-uri的值
hdfs-uri = hdfs://hdfs的namenode的地址:9000
3.用户的设置
软件根目录下的users.conf
缺省用户好象不能login,在文件最后增加如下内容(用户和密码都是hadoop)
ftpserver.user.hadoop.userpassword=0238775C7BD96E2EAB98038AFE0C4279
ftpserver.user.hadoop.homedirectory=/
ftpserver.user.hadoop.enableflag=true
ftpserver.user.hadoop.writepermission=true
ftpserver.user.hadoop.maxloginnumber=0
ftpserver.user.hadoop.maxloginperip=0
ftpserver.user.hadoop.idletime=0
ftpserver.user.hadoop.uploadrate=0
ftpserver.user.hadoop.downloadrate=0
ftpserver.user.hadoop.groups=hadoop,users
密码使用md5生成,JAVA代码如下
PasswordEncryptor passwordEncryptor = new Md5PasswordEncryptor();
System.out.println(passwordEncryptor.encrypt("hadoop"));
4.log的设置
软件根目录下的log4j.conf
和普通的Log4j一样的设置
5.启动和停止方法
./hdfs-over-ftp.sh start
./hdfs-over-ftp.sh stop
6.测试结果
只有权限设置不能用,其它常用的ftp命令都能正常执行
而且上传下载速度甚至比直接使用hadoop的shell还快,当然要在网络环境一样的情况下
一家公司使用apache的ftpserver开发框架开发了针对hadoop的hdfs文件系统的ftp服务器,当然是开源的.站点:http://www.hadoop.iponweb.net/Home/hdfs-over-ftp
安装过程非常简单,本人只是在linux下安装过,windows下没有成功安装,linux下安装步骤如下:
1.下载安装文件并解压
http://www.hadoop.iponweb.net/Home/hd ... tp.tar.bz2?attredirects=0
tar zxvf hdfs-over-ftp.tar.bz2
2.配置
软件根目录下的hdfs-over-ftp.conf
设置hdfs-uri的值
hdfs-uri = hdfs://hdfs的namenode的地址:9000
3.用户的设置
软件根目录下的users.conf
缺省用户好象不能login,在文件最后增加如下内容(用户和密码都是hadoop)
ftpserver.user.hadoop.userpassword=0238775C7BD96E2EAB98038A
ftpserver.user.hadoop.homedirectory=/
ftpserver.user.hadoop.enableflag=true
ftpserver.user.hadoop.writepermission=true
ftpserver.user.hadoop.maxloginnumber=0
ftpserver.user.hadoop.maxloginperip=0
ftpserver.user.hadoop.idletime=0
ftpserver.user.hadoop.uploadrate=0
ftpserver.user.hadoop.downloadrate=0
ftpserver.user.hadoop.groups=hadoop,users
密码使用md5生成,JAVA代码如下
PasswordEncryptor passwordEncryptor = new Md5PasswordEncryptor();
System.out.println(passwordEncryptor.encrypt("hadoop"));
4.log的设置
软件根目录下的log4j.conf
和普通的Log4j一样的设置
5.启动和停止方法
./hdfs-over-ftp.sh start
./hdfs-over-ftp.sh stop
6.测试结果
只有权限设置不能用,其它常用的ftp命令都能正常执行
而且上传下载速度甚至比直接使用hadoop的shell还快,当然要在网络环境一样的情况下
0 0
- 基于HDFS的FTP
- 基于HDFS的FTP
- 基于HDFS的FTP
- 基于HDFS的FTP
- day85-基于HDFS的SparkStreaming
- 基于socket的ftp实现
- 基于MFC的FTP客户端
- 基于QFtp的ftp客户端
- Accessing HDFS over FTP
- HBase基于HDFS的伪分布式配置
- hbase的集群应用(基于hdfs)
- 基于HDFS的数据查询系统分析总结
- 基于QJM的HDFS HA总结
- 基于HDFS的SparkStreaming案例实战
- 基于HDFS,Spark Stream的实时统计
- 基于kerberos的hdfs和hbase登录
- HDFS基于路由的Federation方案
- FTP压缩文件上传到HDFS大小不一致的问题说明(FTP传输模式)
- Android开发中实现多点触摸
- ubuntu 12.04 开启ssh服务
- Android4.4/CM11编译常见错误及解决方法!
- ubuntu NAT服务器配置笔记
- hadoop2.4.1的ftp服务器搭建
- 基于HDFS的FTP
- 数据结构
- Activity四种启动模式
- Android 多线程多任务下载框架的实现(一)
- Android的GPS获取方法
- ubuntu下,使用chrome 浏览器运行安卓apk程序
- Android开发优化之——使用软引用和弱引用
- Ubuntu系统下的nodejs环境的部署
- Android定时自动启动应用程序