spark2.2.0源码学习过程记录:Day9
来源:互联网 发布:淘宝能注销账号吗 编辑:程序博客网 时间:2024/06/05 11:12
由于工作原因,今天需要学习一下FileSystem等类
类FileSystem
通用的文件系统,他主要有两个实现LocalFileSystem、DistributedFileSystem,分别是本地文件系统和hdfs文件系统
使用Cache类来存放已经创建过的FileSystem以复用他们
使用statisticsTable来统计每个FileSystem类的统计信息(文件系统中有多少读、写、等等的统计数据)
initialize方法在创建FileSystem后执行
get方法用于取得具体的FileSystem实现,首先根据uri的schema获取,如果没有则从Conf里取默认实现,配置在fs.defaultFS配置项中
具体创建FileSystem的方法为createFileSystem该方法首先调用getFileSystemClass取得具体的FileSystem实现类名,然后利用反射创建实例,并调用initialize方法进行初始化。如果使用Cache缓存,则这个过程会在Cache类的get方法中调用
getFileSystemClass这个类首先判断所有的实现类是否已经加载,如果没加载则加载到内存中,存放于map中,用schema作为key,然后再从map中取出具体的实现类的name
另外提供了一些增删改查的方法
小细节
ServiceLoader.load(FileSystem.class)方法
在loadFileSystems方法中,调用了ServiceLoader.load方法,这个方法可以取得所有继承了FileSystem类(或实现某个接口)的类
类DistributedFileSystem
主要是包装了一个DFSClient,用来和hdfs交互
阅读全文
0 0
- spark2.2.0源码学习过程记录:Day9
- spark2.2.0源码学习过程记录:序
- spark2.2.0源码学习过程记录:Day3
- spark2.2.0源码学习过程记录:Day4
- spark2.2.0源码学习过程记录:Day5
- spark2.2.0源码学习过程记录:Day6
- spark2.2.0源码学习过程记录:Day7
- spark2.2.0源码学习过程记录:Day8
- spark2.2.0源码学习过程记录:Day10
- spark2.2.0源码学习过程记录:Day1 Day2
- 安卓学习记录-java-day9
- 【Spark2.0源码学习】-1.概述
- 【Spark2.0源码学习】-4.Master启动
- 【Spark2.0源码学习】-5.Worker启动
- 【Spark2.0源码学习】-6.Client启动
- eoe:开篇-记录EOE源码学习过程
- 基于CentOS6.5编译Spark2.2.0源码
- 基于CentOS6.5编译Spark2.2.0源码
- MySQL知识点总结
- 1019. 数字黑洞 (20)
- 【多校联合】(HDU6095)Rikka with Competition
- spark2.2.0源码学习过程记录:Day8
- 探索Map接口
- spark2.2.0源码学习过程记录:Day9
- 修改Linux用户名
- spark2.2.0源码学习过程记录:Day10
- 机器学习常用算法四:K-Means聚类
- jquery以及js实现option左移右移
- 为什么要实现序列化接口Serializable
- ubuntu16.04的使用
- Hibernate--多对多
- Linux下操作mysql的常用语句,以及解决在putty中不能够输入中文的问题