hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
来源:互联网 发布:苹果显示器知乎 编辑:程序博客网 时间:2024/06/11 20:45
01
package
com.test;
02
03
import
java.util.ArrayList;
04
import
java.util.Iterator;
05
import
java.util.List;
06
07
public
class
T {
08
09
public
static
void
main(String[] args) {
10
11
// 只要实现了Iterable接口的对象都可以使用for-each循环。
12
// Iterable接口只由iterator方法构成,
13
// iterator()方法是java.lang.Iterable接口,被Collection继承。
14
/*public interface Iterable<T> {
15
Iterator<T> iterator();
16
}*/
17
Iterable<String> iter =
new
Iterable<String>() {
18
public
Iterator<String> iterator() {
19
List<String> l =
new
ArrayList<String>();
20
l.add(
"aa"
);
21
l.add(
"bb"
);
22
l.add(
"cc"
);
23
return
l.iterator();
24
}
25
};
26
for
(
int
count :
new
int
[] {
1
,
2
}){
27
for
(String item : iter) {
28
System.out.println(item);
29
}
30
System.out.println(
"---------->> "
+ count +
" END."
);
31
}
32
}
33
}
我们先看一段测试代码:
测试数据:
1
a
3
2
a
4
3
b
50
4
b
60
5
a
70
6
b
8
7
a
9
01
import
java.io.IOException;
02
import
java.util.ArrayList;
03
import
java.util.List;
04
05
import
org.apache.hadoop.conf.Configuration;
06
import
org.apache.hadoop.fs.FileSystem;
07
import
org.apache.hadoop.fs.Path;
08
import
org.apache.hadoop.io.Text;
09
import
org.apache.hadoop.mapreduce.Job;
10
import
org.apache.hadoop.mapreduce.Mapper;
11
import
org.apache.hadoop.mapreduce.Reducer;
12
import
org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
13
import
org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
14
import
org.apache.hadoop.util.GenericOptionsParser;
15
16
public
class
TestIterable {
17
18
public
static
class
M1
extends
Mapper<Object, Text, Text, Text> {
19
private
Text oKey =
new
Text();
20
private
Text oVal =
new
Text();
21
String[] lineArr;
22
23
public
void
map(Object key, Text value, Context context)
throws
IOException, InterruptedException {
24
lineArr = value.toString().split(
" "
);
25
oKey.set(lineArr[
0
]);
26
oVal.set(lineArr[
1
]);
27
context.write(oKey, oVal);
28
}
29
}
30
31
public
static
class
R1
extends
Reducer<Text, Text, Text, Text> {
32
List<String> valList =
new
ArrayList<String>();
33
List<Text> textList =
new
ArrayList<Text>();
34
String strAdd;
35
public
void
reduce(Text key, Iterable<Text> values, Context context)
throws
IOException,
36
InterruptedException {
37
valList.clear();
38
textList.clear();
39
strAdd =
""
;
40
for
(Text val : values) {
41
valList.add(val.toString());
42
textList.add(val);
43
}
44
45
// 坑之 1 :为神马输出的全是最后一个值?why?
46
for
(Text text : textList){
47
strAdd += text.toString() +
", "
;
48
}
49
System.out.println(key.toString() +
"\t"
+ strAdd);
50
System.out.println(
"......................."
);
51
52
// 我这样干呢?对了吗?
53
strAdd =
""
;
54
for
(String val : valList){
55
strAdd += val +
", "
;
56
}
57
System.out.println(key.toString() +
"\t"
+ strAdd);
58
System.out.println(
"----------------------"
);
59
60
// 坑之 2 :第二次遍历的时候为什么得到的都是空?why?
61
valList.clear();
62
strAdd =
""
;
63
for
(Text val : values) {
64
valList.add(val.toString());
65
}
66
for
(String val : valList){
67
strAdd += val +
", "
;
68
}
69
System.out.println(key.toString() +
"\t"
+ strAdd);
70
System.out.println(
">>>>>>>>>>>>>>>>>>>>>>"
);
71
}
72
}
73
74
public
static
void
main(String[] args)
throws
Exception {
75
Configuration conf =
new
Configuration();
76
conf.set(
"mapred.job.queue.name"
,
"regular"
);
77
String[] otherArgs =
new
GenericOptionsParser(conf, args).getRemainingArgs();
78
if
(otherArgs.length !=
2
) {
79
System.err.println(
"Usage: wordcount <in> <out>"
);
80
System.exit(
2
);
81
}
82
System.out.println(
"------------------------"
);
83
Job job =
new
Job(conf,
"TestIterable"
);
84
job.setJarByClass(TestIterable.
class
);
85
job.setMapperClass(M1.
class
);
86
job.setReducerClass(R1.
class
);
87
job.setOutputKeyClass(Text.
class
);
88
job.setOutputValueClass(Text.
class
);
89
// 输入输出路径
90
FileInputFormat.addInputPath(job,
new
Path(otherArgs[
0
]));
91
FileSystem.get(conf).delete(
new
Path(otherArgs[
1
]),
true
);
92
FileOutputFormat.setOutputPath(job,
new
Path(otherArgs[
1
]));
93
System.exit(job.waitForCompletion(
true
) ?
0
:
1
);
94
}
95
}
01
a
9
,
9
,
9
,
9
,
02
.......................
03
a
3
,
4
,
70
,
9
,
04
----------------------
05
a
06
>>>>>>>>>>>>>>>>>>>>>>
07
b
8
,
8
,
8
,
08
.......................
09
b
50
,
60
,
8
,
10
----------------------
11
b
12
>>>>>>>>>>>>>>>>>>>>>>
reduce方法的javadoc中已经说明了会出现的问题:
The framework calls this method for each <key, (list of values)> pair in the grouped inputs. Output values must be of the same type as input values. Input keys must not be altered. The framework will reuse the key and value objects that are passed into the reduce, therefore the application should clone the objects they want to keep a copy of.
也就是说虽然reduce方法会反复执行多次,但key和value相关的对象只有两个,reduce会反复重用这两个对象。所以如果要保存key或者value的结果,只能将其中的值取出另存或者重新clone一个对象(例如Text store = new Text(value) 或者 String a = value.toString()),而不能直接赋引用。因为引用从始至终都是指向同一个对象,你如果直接保存它们,那最后它们都指向最后一个输入记录。会影响最终计算结果而出错。
看到这里,我想你会恍然大悟:这不是刚毕业找工作,面试官常问的问题:String 是不可变对象但为什么能相加呢?为什么字符串相加不提倡用 String,而用 StringBuilder ?如果你还不清楚这个问题怎么回答,建议你看看这篇《深入理解 String, StringBuffer 与 StringBuilder 的区别》http://my.oschina.net/leejun2005/blog/102377
关于第 2 个坑:http://stackoverflow.com/questions/6111248/iterate-twice-on-values
The Iterator you receive from that Iterable's iterator() method is special. The values may not all be in memory; Hadoop may be streaming them from disk. They aren't really backed by a Collection, so it's nontrivial to allow multiple iterations.
最后想说明的是:hadoop 框架的作者们真的是考虑很周全,在 hadoop 框架中,不仅有对象重用,还有 JVM 重用等,节约一切可以节约的资源,提高一切可以提高的性能。因为在这种海量数据处理的场景下,性能优化是非常重要的,你可能处理100条数据体现不出性能差别,但是你面对的是千亿、万亿级别的数据呢?
PS:
我的代码是在 Eclipse 中远程调试的,所以 reduce 是没有写 hdfs 的,直接在 eclipse 终端上可以看到结果,很方便,关于怎么在 windows 上远程调试 hadoop,请参考这里 《实战 windows7 下 eclipse 远程调试 linux hadoop》http://my.oschina.net/leejun2005/blog/122775
REF:
hadoop中迭代器的对象重用问题
http://paddy-w.iteye.com/blog/1514595
关于 hadoop 中 JVM 重用和对象重用的介绍
http://wikidoop.com/wiki/Hadoop/MapReduce/Reducer
- 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
- hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
- 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
- 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
- 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
- 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
- hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
- 关于hadoop reduce阶段遍历Iterable的注意事项
- Hadoop reduce阶段遍历Iterable的问题及解决方案
- 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”---(为何数据会显示最后一个和二次迭代时,数据消失)
- Hadoop提供的reduce函数中Iterable 接口只能遍历一次的问题
- Hadoop备忘:Reduce阶段Iterable<VALUEIN> values中的每个值都共享一个对象
- Hadoop备忘:Reduce阶段Iterable<VALUEIN> values中的每个值都共享一个对象
- hadoop map reduce 阶段笔记
- hadoop map reduce 阶段笔记
- Hadoop——Reduce阶段 Values(迭代器)只能遍历一次
- Reduce端的Iterable集合的理解:
- Hadoop reduce多个输出
- PYTHON上数据储存:推荐h5py
- 打造 ubuntu server 12.04 jeos
- StringBuffer类
- poj2247Humbles Numbers
- CMMI实施流程
- hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
- ADB server didn't ACK---*faied to start daemon*
- python基础教程_学习笔记6:字典
- nginx做静态文件下载服务器
- C++ 学习笔记3,struct长度测试,struct存储时的对齐方式
- 使用 XStream 把 Java 对象序列化为 XML(本文转载自http://www.blogjava.net/zlkn2005/archive/2005/12/16/24240.html)
- weblogic12c下载及安装
- 2014百度之星资格赛第二题
- mysql文本函数和数字函数