优酷面试题
来源:互联网 发布:阿里巴巴数据工具 编辑:程序博客网 时间:2024/06/05 14:19
mapred找共同朋友,数据格式如下
A B C D E F
B A C D E
C A B E
D A B E
E A B C D
F A
第一字母表示本人,其他是他的朋友,找出有共同朋友的人,和共同朋友是谁
运行结果
AB E:C:D
AC E:B
AD B:E
AE C:B:D
BC A:E
BD A:E
BE C:D:A
BF A
CD E:A:B
CE A:B
CF A
DE B:A
DF A
EF A
思路:对于每一行,两两进行组合作为一个新key,把每一行的第一个人作为value,map输出<key,value>。
reduce函数进行聚合合并相同的key(即在map阶段的两两组合的新key),具有相同key的 "每行第一个人列表" 就是key的共同朋友。
代码:
package 优酷面试题;import java.io.IOException;import java.util.Set;import java.util.StringTokenizer;import java.util.TreeSet;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class FindFriend { public static class ChangeMapper extends Mapper<Object, Text, Text, Text>{ @Override public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); Text owner = new Text(); Set<String> set = new TreeSet<String>(); owner.set(itr.nextToken()); while (itr.hasMoreTokens()) { set.add(itr.nextToken()); } String[] friends = new String[set.size()]; friends = set.toArray(friends); for(int i=0;i<friends.length;i++){ for(int j=i+1;j<friends.length;j++){ String outputkey = friends[i]+friends[j]; context.write(new Text(outputkey),owner); } } } } /* 这是 StringTokenizer 类下的一个方法。你首先要知道 StringTokenizer 是干什么用的。StringTokenizer 用来分割字符串,你可以指定分隔符,比如',',或者空格之类的字符。nextToken() 用于返回下一个匹配的字段。-----------------------给你一个Demo:import java.util.StringTokenizer;public class Demo { public static void main (String args[]) { String str = "Hello, world"; StringTokenizer st = new StringTokenizer(str, ","); // 用逗号分隔 while (st.hasMoreTokens()) // 判断是否已经到结尾 System.out.println(st.nextToken()); // 打印下一个字段 }}----------------------结果:Helloworld */ public static class FindReducer extends Reducer<Text,Text,Text,Text> { public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { String commonfriends =""; for (Text val : values) { if(commonfriends == ""){ commonfriends = val.toString(); }else{ commonfriends = commonfriends+":"+val.toString(); } } context.write(key, new Text(commonfriends)); } } @SuppressWarnings("deprecation")public static void main(String[] args) throws IOException,InterruptedException, ClassNotFoundException { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); /* 比如运行命令为:bin/hadoop dfs -fs master:8020 -ls /dataGenericOptionsParser把 -fs master:8020配置到配置conf中而getRemainingArgs()方法则得到剩余的参数,就是 -ls /data。供下面使用输入输出参数 */ if (otherArgs.length < 2) { System.err.println("args error"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(FindFriend.class); job.setMapperClass(ChangeMapper.class); job.setCombinerClass(FindReducer.class); job.setReducerClass(FindReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); for (int i = 0; i < otherArgs.length - 1; ++i) { FileInputFormat.addInputPath(job, new Path(otherArgs[i])); } FileOutputFormat.setOutputPath(job,new Path(otherArgs[otherArgs.length - 1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } /* GenericOptionsParser 命令行解析器是hadoop框架中解析命令行参数的基本类。它能够辨别一些标准的命令行参数,能够使应用程序轻易地指定namenode,jobtracker,以及其他额外的配置资源 */}
0 0
- 优酷面试题
- 试题
- 试题
- 试题
- 试题
- 试题
- 试题
- 试题
- 试题
- 试题
- 试题
- 试题
- 试题
- 【优酷面试题】整形数组重排,求最小值
- 微软试题
- 面试题....
- 几道面试题
- 几道面试题
- 《Java事务设计策略》XA事务处理
- 慎用InputStream的read()方法
- (a+b)/2的位运算
- STL 算法大致类型与含义
- LeetCode78:Subsets
- 优酷面试题
- Oracle之分页查询
- 代码隐藏模型
- Android ViewPager的使用以及定时切换实现
- sublime插件emmet安装和使用
- 五步搞定Android开发环境部署——非常详细的Android开发环境搭建教程
- java.util.concurrent
- java decode
- JSON解析 ---- NSJSONSerialization介绍