HDFS 使用Java api实现上传/下载/删除文件
来源:互联网 发布:131458淘宝买家工具箱 编辑:程序博客网 时间:2024/05/01 17:02
- package Hadoop;
- import java.io.IOException;
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.fs.FileSystem;
- import org.apache.hadoop.fs.Path;
- public class HDFSTest01 {
- /**
- * 文件上传
- * @param src
- * @param dst
- * @param conf
- * @return
- */
- public static boolean put2HSFS(String src , String dst , Configuration conf){
- Path dstPath = new Path(dst) ;
- try{
- FileSystem hdfs = dstPath.getFileSystem(conf) ;
- // FileSystem hdfs = FileSystem.get( URI.create(dst), conf) ;
- hdfs.copyFromLocalFile(false, new Path(src), dstPath) ;
- }catch(IOException ie){
- ie.printStackTrace() ;
- return false ;
- }
- return true ;
- }
- /**
- * 文件下载
- * @param src
- * @param dst
- * @param conf
- * @return
- */
- public static boolean getFromHDFS(String src , String dst , Configuration conf){
- Path dstPath = new Path(dst) ;
- try{
- FileSystem dhfs = dstPath.getFileSystem(conf) ;
- dhfs.copyToLocalFile(false, new Path(src), dstPath) ;
- }catch(IOException ie){
- ie.printStackTrace() ;
- return false ;
- }
- return true ;
- }
- /**
- * 文件检测并删除
- * @param path
- * @param conf
- * @return
- */
- public static boolean checkAndDel(final String path , Configuration conf){
- Path dstPath = new Path(path) ;
- try{
- FileSystem dhfs = dstPath.getFileSystem(conf) ;
- if(dhfs.exists(dstPath)){
- dhfs.delete(dstPath, true) ;
- }else{
- return false ;
- }
- }catch(IOException ie ){
- ie.printStackTrace() ;
- return false ;
- }
- return true ;
- }
- /**
- * @param args
- */
- public static void main(String[] args) {
- // String src = "hdfs://xcloud:9000/user/xcloud/input/core-site.xml" ;
- String dst = "hdfs://xcloud:9000/user/xcloud/out" ;
- String src = "/home/xcloud/cdh3/hbase-0.90.4-cdh3u2/bin/loadtable.rb" ;
- boolean status = false ;
- Configuration conf = new Configuration() ;
- status = put2HSFS( src , dst , conf) ;
- System.out.println("status="+status) ;
- src = "hdfs://xcloud:9000/user/xcloud/out/loadtable.rb" ;
- dst = "/tmp/output" ;
- status = getFromHDFS( src , dst , conf) ;
- System.out.println("status="+status) ;
- src = "hdfs://xcloud:9000/user/xcloud/out/loadtable.rb" ;
- dst = "/tmp/output/loadtable.rb" ;
- status = checkAndDel( dst , conf) ;
- System.out.println("status="+status) ;
- }
- }
参考:
hadoop-0.20_程式设计.pdf 见 http://www.linuxidc.com/Linux/2012-01/50878.htm
0 0
- HDFS 使用java api实现上传/下载/删除文件
- HDFS 使用Java api实现上传/下载/删除文件
- 十三、根据HDFS提供的API,实现文件上传、下载、删除、重命名、移动
- 调用JAVA API 对 HDFS 进行文件的读取、写入、上传、下载、删除等操作
- Java实现远程HDFS的文件操作(新建、上传、下载、删除)
- Java实现远程HDFS的文件操作(新建、上传、下载、删除)
- HDFS中JAVA API的使用(hadoop的文件上传和下载)
- (2-4)HDFS的Java接口,上传,下载,创建文件,删除文件
- java实现对hdfs文件系统的上传,下载,删除,创建文件夹的操作演示
- Java 使用ftp的方式上传文件到linux,并实现删除,下载
- Eclipse 上传 删除 下载 分析 hdfs 上的文件
- java实现FTP操作--上传,下载,删除文件
- JAVA实现FTP服务器文件的上传,下载,删除功能
- java操作hdfs,实现文件上传、下载以及查看当前文件夹下所有文件
- 使用java操作FastDFS上传,下载,删除文件
- 使用java操作FastDFS上传,下载,删除文件
- 使用java接口上传文件到HDFS
- 使用java api操作HDFS文件
- wampserver 2.5安装
- Android 采用AIDL绑定远程服务
- 七牛上传同名文件为什么没有报错解答
- Jquery:$Deffered() 异步队列(一)
- 30岁以上工程师——无法说出的悲哀与迷茫!(转)
- HDFS 使用Java api实现上传/下载/删除文件
- LeetCode:Generate Parentheses
- 04 shell条件测试和判断语句
- Server Tomcat v6.0 Server at localhost failed to start.
- JavaScript String 字符串对象
- Java中几种发布WebService的方法及比较
- Buffer size of Android stagefright media player
- 用R進行中文 text Mining
- Windows环境下Android Studio v1.0安装教程