Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
来源:互联网 发布:how is it和what is it 编辑:程序博客网 时间:2024/04/28 22:41
2015-04-26 13:57
默认是从hdfs读取文件,也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读,如file:///home/user/spark/README.md
网上很多例子,包括官网的例子,都是用textFile来加载一个文件创建RDD,类似sc.textFile("hdfs://n1:8020/user/hdfs/input")
textFile的参数是一个path,这个path可以是:
1. 一个文件路径,这时候只装载指定的文件
2. 一个目录路径,这时候只装载指定目录下面的所有文件(不包括子目录下面的文件)
3. 通过通配符的形式加载多个文件或者加载多个目录下面的所有文件
第三点是一个使用小技巧,现在假设我的数据结构为先按天分区,再按小时分区的,在hdfs上的目录结构类似于:
/user/hdfs/input/dt=20130728/hr=00/
/user/hdfs/input/dt=20130728/hr=01/
...
/user/hdfs/input/dt=20130728/hr=23/
具体的数据都在hr等于某个时间的目录下面,现在我们要分析20130728这一天的数据,我们就必须把这个目录下面的所有hr=*的子目录下面的数据全部装载进RDD,于是我们可以这样写:sc.textFile("hdfs://n1:8020/user/hdfs/input/dt=20130728/hr=*/"),注意到hr=*,是一个模糊匹配的方式。
3 1
- Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
- Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
- Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
- Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
- Spark中加载本地(或者hdfs)文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件
- spark中的SparkContext实例的textFile使用的小技巧
- spark中的SparkContext实例的textFile使用的小技巧
- spark中的SparkContext实例的textFile使用的小技巧
- spark中的SparkContext的textFile使用的小窍门
- Spark hello word(加载本地文件和加载hdfs文件)
- Spark中join,union,textFile
- spark 中删除HDFS文件
- Spark及HDFS环境下使用python的wordcount实例
- Spark textFile
- spark读取hdfs文件的路径使用正则表达式
- spark 的WholeTextFile使用以及文件路径
- scala中spark错误 Error initializing SparkContext
- spark学习笔记:使用API初始化SparkContext
- Linux网络编程-自己动手写进程池
- 字符串(NSString)、字典(NSDictionary)、数组(NSArray)的总结
- 【PHP教程二】PHP基本知识,运行自己写的.php文件
- c# ListBox绑定对象时删除数据的问题
- WordPress 主题制作(一)主题的基本构成
- Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
- 关于FastCGI的几个命令说明
- 设计模式(4) - Builder模式
- DEVENV CYGWIN MINGW特点总结
- 6.5-3
- 重采样---不平衡分类
- Air Raid(最小路径覆盖)
- 设计模式(5) - 单件模式
- setCompoundDrawables和setCompoundDrawablesWithIntrinsicBounds区别