Hadoop开发常用的InputFormat和OutputFormat
来源:互联网 发布:我的世界json 编辑:程序博客网 时间:2024/05/19 18:12
http://blog.csdn.net/dajuezhao/article/details/6028985
Hadoop中的Map Reduce框架依赖InputFormat提供数据,依赖OutputFormat输出数据;每一个Map Reduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发,本文介绍几种常用的。
TextInputFormat
用于读取纯文本文件,文件被分为一系列以LF或者CR结束的行,key是每一行的位置(偏移量,LongWritable类型),value是每一行的内容,Text类型。
KeyValueTextInputFormat
同样用于读取文件,如果行被分隔符(缺省是tab)分割为两部分,第一部分为key,剩下的部分为value;如果没有分隔符,整行作为 key,value为空
SequenceFileInputFormat
用于读取sequence file。 sequence file是Hadoop用于存储数据自定义格式的binary文件。它有两个子类:SequenceFileAsBinaryInputFormat,将 key和value以BytesWritable的类型读出;SequenceFileAsTextInputFormat,将key和value以 Text的类型读出。
SequenceFileInputFilter
根据filter从sequence文件中取得部分满足条件的数据,通过setFilterClass指定Filter,内置了三种 Filter,RegexFilter取key值满足指定的正则表达式的记录;PercentFilter通过指定参数f,取记录行数%f==0的记录;MD5Filter通过指定参数f,取MD5(key)%f==0的记录。
NLineInputFormat
0.18.x新加入,可以将文件以行为单位进行split,比如文件的每一行对应一个map。得到的key是每一行的位置(偏移量,LongWritable类型),value是每一行的内容,Text类型。
CompositeInputFormat,用于多个数据源的join。
TextOutputFormat,输出到纯文本文件,格式为 key + " " + value。
NullOutputFormat,hadoop中的/dev/null,将输出送进黑洞。
SequenceFileOutputFormat, 输出到sequence file格式文件。
MultipleSequenceFileOutputFormat, MultipleTextOutputFormat,根据key将记录输出到不同的文件。
DBInputFormat和DBOutputFormat,从DB读取,输出到DB。
- Hadoop开发常用的InputFormat和OutputFormat
- Hadoop开发常用的InputFormat和OutputFormat
- Hadoop开发常用的InputFormat和OutputFormat
- Hadoop开发常用的InputFormat和OutputFormat
- Hadoop开发常用的InputFormat和OutputFormat
- Hadoop开发常用的InputFormat和OutputFormat
- Hadoop开发常用的InputFormat和OutputFormat
- Hadoop开发常用的InputFormat和OutputFormat
- Hadoop的InputFormat和OutputFormat
- Hadoop:InputFormat和OutputFormat
- Hadoop中常用的InputFormat,OutPutFormat类
- Hadoop中常用的InputFormat、OutputFormat
- hadoop 自定义inputformat和outputformat
- Hadoop中常用的InputFormat、OutputFormat(转)
- Hadoop中常用的InputFormat、OutputFormat(转)
- Hadoop中常用的InputFormat、OutputFormat(转)
- Hadoop自定义 inputformat 和outputformat 实现图像的读写
- OutputFormat和InputFormat
- 健康小知识系列一
- servlet学习笔记3——用户登录网站(通过session验证登陆用户)
- 调试器工作原理之一——基础篇
- 数据对接—kettle使用之五
- 'nmake' 不是内部或外部命令,也不是可运行的程序或批处理文件
- Hadoop开发常用的InputFormat和OutputFormat
- poj 3042 Grazing on the Run
- PowerHA 6.1 DARE 的功能介绍
- cocos2d-x-3.0
- 数据对接—kettle使用之六
- { 反思 }soj1703
- Log4J详细配置-输出到日志文件中(下一讲讲解输出到数据库中)
- jQuery基础教程第七章学习
- 随笔2013,10.30