Hadoop基础教程-第4章 HDFS的Java API(4.5 Java API介绍)
来源:互联网 发布:ppt制作软件下载 编辑:程序博客网 时间:2024/05/22 11:40
第4章 HDFS的Java API
4.5 Java API介绍
在4.4节我们已经知道了HDFS Java API的Configuration、FileSystem、Path等类,本节将详细介绍HDFS Java API,一下节再演示更多应用。
4.5.1 Java API 官网
Hadoop 2.7.3 Java API官方地址
http://hadoop.apache.org/docs/r2.7.3/api/index.html
如上图所示,Java API页面分为了三部分,左上角是包(Packages)窗口,左下角是所有类(All Classes是)窗口,右侧是详情窗口。
这里推荐使用“先左下角索引,然后查看右侧详情”的方法,好似查英文词典一样。而左上角的包窗口,使用较少。
左下角窗口列出了所有的Java接口和类,可以直接拖动滑动条查找需要的接口或类。如图所示,比如查找到FileSystem,单击该类,右侧窗口将显示该类的详细信息,包括属性方法等。
4.5.2 Configuration类
比如
// 1.创建配置器 Configuration conf = new Configuration();conf.set("fs.default.name", "hdfs://192.168.80.131:9000");conf.set("mapred.jop.tracker", "192.168.80.131:9001");
Configuration conf = new Configuration(); conf.addResource("core-default.xml"); conf.addResource("core-site.xml");
4.5.3 URL与Path
URI:统一资源标志符(Uniform Resource Identifier)
URL:统一资源定位符(uniform resource location)
URI与URL都是定位资源位置的,就是表示这个资源的位置信息,就像经纬度一样可以表示你在世界的哪个角落。URI是一种宽泛的含义更广的定义,而URL则是URI的一个子集,就是说URL是URI的一部分。
URL位于java.net
包中
Path类往往与URL类结合使用,Path类位于org.apache.hadoop.fs
包下,命名文件系统中的文件或目录。 路径字符串使用斜杠作为目录分隔符。 如果以斜线开始,路径字符串是绝对的。
4.5.4 FileSystem类
Hadoop是由Java语言编写的,其中Hadoop 2.7系列是JDK1.7编写,我们可以通过Java API调用HDFS的所有交互操作接口。其中最常用的类是FileSystem类,包含了hdfs dfs相关操作的实现。
如上图可以看到FileSystem类的声明,
public abstract class FileSystemextends Configuredimplements Closeable
由此可知:
- FileSystem类位于org.apache.hadoop.fs包中,是一个抽象类,其次父类是Configured,实现了 Closeable接口。
- Closeable接口是可以关闭的数据源或目标。需要实现close 方法,可释放对象保存的资源(如打开文件)。
- 父类Configured有两个方法:
- void setConf(Configuration conf):设置Configuration
- Configuration getConf():获取Configuration
除了上面三个方法,FileSystem类常用方法如下表(省略了public)
其中,create()方法有多个重载版本,允许我们指定是否强制覆盖已有的文件、文件备份数量、写入文件缓冲区大小、文件块大小以及文件权限。
- Hadoop基础教程-第4章 HDFS的Java API(4.5 Java API介绍)
- Hadoop基础教程-第4章 HDFS的Java API(4.6 Java API应用)(草稿)
- Hadoop基础教程-第4章 HDFS的Java API(4.4 Windows+Eclipse+HDFS快速入门)
- Hadoop基础教程-第4章 HDFS的Java API(4.1 Maven入门)
- Hadoop基础教程-第4章 HDFS的Java API(4.2 Eclipse+Maven)
- Hadoop基础教程-第4章 HDFS的Java API(4.3 pom.xml解析)
- Hadoop基础教程-第4章 HDFS的Java API(4.7 Java API封装类)(草稿)
- Hadoop HDFS 的 Java API 操作方式
- 使用Hadoop的Java API操作HDFS
- JAVA操作HDFS API(hadoop)
- JAVA操作HDFS API(hadoop)
- HDFS的Java API
- JAVA操作HDFS API(hadoop) HDFS API详解
- hadoop hdfs java api 文件操作类
- hadoop hdfs java api 文件操作类
- hadoop hdfs java api操作实战
- Java调用Hadoop HDFS API编程
- Linux下Hadoop hdfs Java API使用
- 个人对封装,继承以及抽象类和接口的小理解
- 三一、vue笔记--新(一)
- 【Effection C++】读书笔记 条款18~条款19
- (狼人杀)游戏研究-Android
- PV操作的三种情况
- Hadoop基础教程-第4章 HDFS的Java API(4.5 Java API介绍)
- 从Chrome源码看JS Array的实现
- jsp中Object的如何转换
- c++作业6
- C++作业6-数组2
- 田忌赛马
- Dagger2的使用与理解(2)
- Linux命令基础36-tar压缩包和解压命令
- python字符串之'\x00'与空串''的区别