hadoop中mapreduce的默认设置
来源:互联网 发布:求个网络诈骗方法 编辑:程序博客网 时间:2024/06/06 01:15
默认设置
job.setInputFormatClass()的默认设置为TextInputFormat类,该类处理输入(该类只处理文本文件)。TextInputFormat将文本文件的多行分成splits,并通过LineRecorderReader,将其中的每一行解析成<key,value>对,key值为对应行在文件中德偏移量,value为行的内容。
job.setMapperClass()的默认值为Mapper,Mapper将输入的<key,value>对原封不动地作为中间结果输出
job.setCombinerClass()默认为null,即不合并中间结果
job.setPartitionerClass()的默认使用HashPartitioner,HashPartitioner使用哈希函数完成Shuffle过程。
job.setReducerClass()默认使用Reducer类,Reducer将中间结果直接输出为最终结果。
job.setOutputFormatClass()默认使用TextOutputFormat类,TextOutputFormat将最终结果写成纯文本文件,每行一个<key,value>对,key和value之间用制表符分隔开来。
job.setOutputKeyClass和job.setOutputValueClass可以用来设置最终结果的key和value,默认情况下分别为LongWriteable和Text。job.setMapperOutputKeyClass和job.setMapperOutputValueClass则可以用来设置中间结果的key和value的类型。默认情况下与最终结果的类型保持一致。
0 0
- hadoop中mapreduce的默认设置
- Hadoop中MapReduce的原理
- Hadoop 中MapReduce的数据流
- Hadoop中 MapReduce中InputSplit的分析
- Hadoop的MapReduce中多文件输出
- Hadoop的MapReduce中多文件输出
- Hadoop的MapReduce中多文件输出
- hadoop中mapreduce的常用类
- hadoop中关于mapreduce的单元测试
- 浅谈hadoop中mapreduce的文件分发
- Hadoop的MapReduce中多文件输出
- Hadoop的MapReduce中多文件输出 .
- Hadoop的MapReduce中多文件输出
- WordCount:Hadoop中MapReduce的HelloWorld程序
- hadoop中mapreduce的执行过程
- 浅谈hadoop中mapreduce的文件分发
- Hadoop中HDFS、MapReduce的运行原理
- Hadoop中MapReduce的简单理解
- Maximum Product Subarray 【LeetCode】
- java.lang.NullPointerException at org.apache.jsp.stafflist_jsp._jspService
- 自己网站有相册系统,怎么打开和保存到自己相册?
- 《数据结构》的实验1
- localhost:8080不能跳到tomca首页
- hadoop中mapreduce的默认设置
- 使用HSSFWorkBooK导入Excel表
- vfp 控制 excel 问题
- trim,ltrim,rtrim的区别
- pig脚本的参数传入,多个参数传入
- iOS申请证书,Certificates, Identifiers &Profiles 简介
- ERROR: Could not find a valid gem 'cocoapods' (>= 0) in any repository
- chm格式无法打开 不能打开文件:mk:@MSITStore:
- 如何设置编辑器语言