使用java接口上传文件到HDFS
来源:互联网 发布:windows10软件兼容性 编辑:程序博客网 时间:2024/05/01 08:34
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;
public class HDFSDemo {
FileSystem fs = null;
@Before
public void init() throws IOException, URISyntaxException, InterruptedException{
fs = FileSystem.get(new URI("hdfs://192.168.1.120:9000"), new Configuration(),"bl");
}
@Test
public void testUpload() throws IllegalArgumentException, IOException{
//读取本地文件系统
IOUtils.copyBytes(in, out, 4096, true);
}
public static void main(String[] args) throws URISyntaxException, IOException {
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.1.121:9000"), new Configuration());
}
}
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;
public class HDFSDemo {
FileSystem fs = null;
@Before
public void init() throws IOException, URISyntaxException, InterruptedException{
fs = FileSystem.get(new URI("hdfs://192.168.1.120:9000"), new Configuration(),"bl");
}
@Test
public void testUpload() throws IllegalArgumentException, IOException{
//读取本地文件系统
InputStream in = new FileInputStream("C://Users//Administrator//Downloads//spark-2.1.0-bin-hadoop2.7.tgz");
//HDFS文件系统路径
OutputStream out = fs.create(new Path("/spark-2.1.0-bin-hadoop2.7.tgz"));IOUtils.copyBytes(in, out, 4096, true);
}
public static void main(String[] args) throws URISyntaxException, IOException {
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.1.121:9000"), new Configuration());
}
}
0 0
- 使用java接口上传文件到HDFS
- java上传文件到HDFS
- 远程Java客户端上传文件到HDFS
- java上传文件到hdfs简单demo
- 上传文件到HDFS
- 上传文件到HDFS
- HDFS之上传文件到hdfs中
- servlet上传文件到hdfs
- 上传文件到HDFS方式
- 使用flume将avro文件上传到hdfs上
- 使用Kettle从本地上传文件到远程HDFS
- JAVA实现:将文件从本地上传到HDFS上、从HDFS上读取等操作
- HDFS 使用java api实现上传/下载/删除文件
- HDFS 使用Java api实现上传/下载/删除文件
- hadoop的hdfs文件操作实现上传文件到hdfs
- (2-4)HDFS的Java接口,上传,下载,创建文件,删除文件
- Hadoop MapReduce之上传文件到HDFS
- hadoop上传文件到hdfs出错
- hdu2546 饭卡_特殊的01背包
- JavaScript的prototype(原型)
- nodejs(三) 调用内部和外部方法
- 递归的应用-回溯
- Java swing简介
- 使用java接口上传文件到HDFS
- win10与ubuntu16.04双系统下时间不同步
- $parse/$eval和$observe/$watch如何区分
- [资源贴]ICLR2016 下载地址
- C++笔记(五) getline的使用
- Android开发实践:拷贝assets到sdcard
- poj 2151 Check the difficulty of problems (概率与期望DP)
- 如何在Chrome控制台使用多行模式?
- UcosII 的信号量和邮箱