本地多级文件 原样上传到hdfs
来源:互联网 发布:telnet ip加端口不通 编辑:程序博客网 时间:2024/06/08 04:55
package com.hdfs;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import com.beicai.utils.MyUtils;
/**
*
* @described 本地多级文件 原样上传到hdfs
*/
public class HdfsWork {
public static void main(String[] args) throws Exception {
myMerge();
System.out.println("ok");
}
public static void myWrite(Path path,LocalFileSystem lfs,FileSystem fs) throws Exception{
FileStatus[] fst = lfs.listStatus(path);
for(int i=0;i<fst.length;i++){
Path dir = fst[i].getPath();//获取路径
//file:/D:/data/a
dir = new Path(dir.toString().split(":")[2]);//截取相对本地磁盘D盘的绝对路径
if(fst[i].isDirectory()){//是文件夹
myWrite(fst[i].getPath(),lfs,fs);//调用本身
fs.mkdirs(dir);//创建里面没有文件的文件夹(空文件夹)
} else {
FSDataInputStream fsdis = lfs.open(fst[i].getPath()); //打开文件输入流
FSDataOutputStream fsdos = fs.create(dir);//打开文件输出流流
int read = 0;
byte[] buffer = new byte[255];
while((read=fsdis.read(buffer))>0){
fsdos.write(buffer, 0, read);
}
IOUtils.closeStream(fsdis);//关闭流
IOUtils.closeStream(fsdos);
}
}
}
public static void myMerge() throws Exception{
FileSystem fs = MyUtils.getFileSystem();
LocalFileSystem lfs = MyUtils.getLocalFileSystem();
Path localPath = new Path("D:/datas");//本地路径
myWrite(localPath,lfs,fs);//调用方法
}
}
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import com.beicai.utils.MyUtils;
/**
*
* @described 本地多级文件 原样上传到hdfs
*/
public class HdfsWork {
public static void main(String[] args) throws Exception {
myMerge();
System.out.println("ok");
}
public static void myWrite(Path path,LocalFileSystem lfs,FileSystem fs) throws Exception{
FileStatus[] fst = lfs.listStatus(path);
for(int i=0;i<fst.length;i++){
Path dir = fst[i].getPath();//获取路径
//file:/D:/data/a
dir = new Path(dir.toString().split(":")[2]);//截取相对本地磁盘D盘的绝对路径
if(fst[i].isDirectory()){//是文件夹
myWrite(fst[i].getPath(),lfs,fs);//调用本身
fs.mkdirs(dir);//创建里面没有文件的文件夹(空文件夹)
} else {
FSDataInputStream fsdis = lfs.open(fst[i].getPath()); //打开文件输入流
FSDataOutputStream fsdos = fs.create(dir);//打开文件输出流流
int read = 0;
byte[] buffer = new byte[255];
while((read=fsdis.read(buffer))>0){
fsdos.write(buffer, 0, read);
}
IOUtils.closeStream(fsdis);//关闭流
IOUtils.closeStream(fsdos);
}
}
}
public static void myMerge() throws Exception{
FileSystem fs = MyUtils.getFileSystem();
LocalFileSystem lfs = MyUtils.getLocalFileSystem();
Path localPath = new Path("D:/datas");//本地路径
myWrite(localPath,lfs,fs);//调用方法
}
}
0 0
- 本地多级文件 原样上传到hdfs
- 本地多级文件 合并上传到hdfs(递归上传)
- 使用Kettle从本地上传文件到远程HDFS
- hdfs有多级目录 合并文件下载到本地(递归下载)
- 上传文件到HDFS
- 上传文件到HDFS
- JAVA实现:将文件从本地上传到HDFS上、从HDFS上读取等操作
- hdfs下载文件到本地
- HDFS之上传文件到hdfs中
- servlet上传文件到hdfs
- 上传文件到HDFS方式
- java上传文件到HDFS
- hadoop的hdfs文件操作实现上传文件到hdfs
- java 上传文件到本地
- ajax上传文件到本地
- 远程Java客户端上传文件到HDFS
- Hadoop MapReduce之上传文件到HDFS
- hadoop上传文件到hdfs出错
- viewpagerIndcator 的使用步骤
- 学习笔记 新浪微博篇 问题篇一 文件不存在c8998
- SQL:MINUS 用法
- 解决Eclipse每次修改完代码后需要先Clean,不然部署不上文件的问题
- OpenCV Scalar详解
- 本地多级文件 原样上传到hdfs
- 利用scp 远程上传下载文件/文件夹
- 剑指offer[12]合并两个排序的链表
- jni
- QT QFile删除文件失败
- C#入门经典第6版学习 六
- tomcat详解
- 关于老项目增加功能的问题
- 【原创】东方耀reactnative 视频13之-Text组件