hdfs的一些操作
来源:互联网 发布:linux 断电 丢失 文件 编辑:程序博客网 时间:2024/06/05 03:45
import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;import org.apache.hadoop.fs.RemoteIterator;import org.junit.Before;import org.junit.Test;public class HdfsUtils { public FileSystem fs = null; @Before public void init() throws IOException, InterruptedException, URISyntaxException { fs = FileSystem.get(new URI("hdfs://os-1:9000"),new Configuration(),"root"); } // 从hdfs下载文件到本地 @Test public void downLocal() throws IllegalArgumentException, IOException { fs.copyToLocalFile(false,new Path("/Test1.java"), new Path("C:/Users/os/Desktop/share"),true); fs.close(); } // 文件夹操作 @Test public void testDir() throws IllegalArgumentException, IOException { fs.mkdirs(new Path("/aaa")); boolean exists = fs.exists(new Path("/aaa")); if(exists) { System.out.println("创建了一个文件件: /aaa"); } fs.close(); } // 文件信息的查看 @Test public void testFileStatus() throws FileNotFoundException, IllegalArgumentException, IOException { RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true); while(listFiles.hasNext()) { LocatedFileStatus fileStatus = listFiles.next(); System.out.println(fileStatus.getPath().getName()); //文件名 } } // @Test() public void testOthers() throws IllegalArgumentException, IOException { BlockLocation[] fileBlockLocations = fs.getFileBlockLocations(new Path("/anaconda-ks.cfg"), 18, 100); for(BlockLocation location:fileBlockLocations) { System.out.println(location.getOffset()); System.out.println(location.getNames()[0]); } //修改副本数量 fs.setReplication(new Path("/anaconda-ks.cfg"),(short) 2); } public void main(String[] args) throws IOException { //Configuration conf = new Configuration(); //conf.set("fs.defaultFS", "hdfs://192.168.146.129:9000"); //fs = FileSystem.get(conf); //FileSystem fs = FileSystem.get(new URI("hdfs://os-1:9000"),conf,"root"); fs.copyFromLocalFile(new Path("C:\\Users\\os\\eclipse-workspace\\hadoop-1\\src\\os\\unis\\cn\\Test1.java"), new Path("hdfs://os-1:9000/")); fs.close(); }}
阅读全文
0 0
- hdfs的一些操作
- hadoop hdfs的一些操作
- hadoop hdfs的一些操作
- hdfs的一些命令
- HDFS的一些理解
- HDFS的JavaAPI操作
- HDFS的文件操作
- HDFS的JavaAPI操作
- HDFS 的 JAVA操作
- HDFS的JavaAPI操作
- HDFS的API操作
- HDFS的shell操作
- hadoop的HDFS操作
- Hdfs 的读写操作
- hdfs的操作
- HDFS的shell操作
- HDFS的常用操作
- HDFS的常用操作
- hdu 1245 saving james band
- Android权限Uri.parse用法
- 1118. Birds in Forest (25)
- matlab2c使用c++实现matlab函数系列教程-raylpdf函数
- JavaScipt学习——套公式学习作用域
- hdfs的一些操作
- 使用Vue-cli创建项目
- 关于两个用户用同一浏览器不能同时登录同一网站的问题(session覆盖问题)
- 百万级访问量网站的技术准备工作
- unity shader:初探语义
- MainActivity中Xlistview实现下拉刷新和上拉加载
- 无线网络覆盖 时间限制:3000 ms | 内存限制:65535 KB 难度:3 描述 我们的乐乐同学对于网络可算得上是情有独钟,他有一个计划,那就是用无线网覆盖郑州大学。 现在学校给了他一个机
- 已连接网络,出现浏览器无法连接到代理服务器
- P3761送外卖(最短路+状压dp)