hadoop中各种输入输出格式
来源:互联网 发布:刘德华 人物评价 知乎 编辑:程序博客网 时间:2024/06/05 14:10
Hadoop中的Map Reduce框架依赖InputFormat提供数据,依赖OutputFormat输出数据,每一个Map Reduce程序都离不开它们。Hadoop提供了一系列InputFormat和OutputFormat方便开发,本文介绍几种常用的:
TextInputFormat
作为默认的文件输入格式,用于读取纯文本文件,文件被分为一系列以LF或者CR结束的行,key是每一行的位置偏移量,是LongWritable类型的,value是每一行的内容,为Text类型。
KeyValueTextInputFormat
同样用于读取文件,如果行被分隔符(缺省是tab)分割为两部分,第一部分为key,剩下的部分为value;如果没有分隔符,整行作为 key,value为空。
SequenceFileInputFormat
用于读取sequence file。 sequence file是Hadoop用于存储数据自定义格式的binary文件。它有两个子类:SequenceFileAsBinaryInputFormat,将 key和value以BytesWritable的类型读出;SequenceFileAsTextInputFormat,将key和value以Text类型读出。
SequenceFileInputFilter
根据filter从sequence文件中取得部分满足条件的数据,通过 setFilterClass指定Filter,内置了三种 Filter,RegexFilter取key值满足指定的正则表达式的记录;PercentFilter通过指定参数f,取记录行数%f==0的记录;MD5Filter通过指定参数f,取MD5(key)%f==0的记录。
NLineInputFormat
0.18.x新加入,可以将文件以行为单位进行split,比如文件的每一行对应一个map。得到的key是每一行的位置偏移量(LongWritable类型),value是每一行的内容,Text类型。
CompositeInputFormat,用于多个数据源的join。
TextOutputFormat,输出到纯文本文件,格式为 key + " " + value。
NullOutputFormat,hadoop中的/dev/null,将输出送进黑洞。
SequenceFileOutputFormat, 输出到sequence file格式文件。
MultipleSequenceFileOutputFormat, MultipleTextOutputFormat,根据key将记录输出到不同的文件。
DBInputFormat和DBOutputFormat,从DB读取,输出到DB。
- hadoop中各种输入输出格式
- Hadoop数据输入输出格式
- 【Hadoop】MapReduce输入输出格式之输入格式
- Hadoop的输入输出格式(重要)
- Android 中各种文件输入输出流
- Hadoop 高级程序设计(二)---自定义输入输出格式
- 了解Hadoop数据类型,输入输出格式及用户如何自定义。
- 各种输入输出
- Fortran中输入输出的格式命令
- c语言中输入输出格式集合
- C语言中输入输出格式控制
- C++中输入输出格式的控制
- C语言中输入输出格式控制
- c语言中输入输出格式的控制
- C++中输入输出文件的格式
- 竞赛中常见的输入输出格式
- C语言中输入输出格式控制
- Hadoop 输入输出
- 移动开发,安卓开发,ios开发,wp开发通用必杀绝招
- Android开机动画
- android 实现textView的走马灯
- 从头学Android之多媒体--使用MediaPlayer和SurfaceView播放视频
- MediaPlayer播放网络视频
- hadoop中各种输入输出格式
- VC6.0增加对GDI+支持的配置方式
- gethostbyname第二次调用的时候,会覆盖掉前一次的
- 做友链的时候该看重对方网站什么
- hdu 4709
- Android Developers:保存文件
- web.xml 详细介绍
- prepend(content)和append(content)的用法
- HDU 1078 FatMouse and Cheese(记忆化)