Mapeduce编程八大步骤
来源:互联网 发布:淘宝卖家套餐怎么设置 编辑:程序博客网 时间:2024/05/22 02:14
Mapreduce编程八大步
1.1:指定读取的文件位于哪里
FileInputFormat.setInputPaths()指定如何对输入文件进行格式化,把输入文本每一行解析为键值对
job.setInputFormatClass()
1.2:指定自定义的Map类
job.setMapperClass()
//map输出的<k,v>类型,如果<k3,v3>的类型与<k2,v2>类型一致,则可以省略
//job.setMapOutputKeyClass()
//job.setMapOutputValueClass()
1.3:分区
job.setPartitionerClass()
//设置reduce任务个数
//job.setNumReducetasks(1)
1.4:TODO 排序 分组
1.5:规约
job.setCombinerClass()
2.1:指定自定义的Reduce类
job.setReduceClass()
//指定reduce的输出类型
//job.setOutputKeyClass()
//job.setOutputValueClass()
2.2:指定写出的文件位置
FileOutputFormat.setOutputPath()
指定如何对输出文件格式化类型
job.setoutputFormatClass()
2.3:把job提交给JobTracker运行
System.exit(status)
MapReduce程序的执行步骤:
1.Map任务处理
1.1 读取输入文件内容,解析成key,value对,对输入文件的每一行,解析成key,value对。每一个键值对调用一次map
函数
1.2 写自己的逻辑,对输入的key,value处理,转换成新的key,value输出
1.3 对输出的key,value进行分区
1.4 对不同分区的数据,按照key进行排序,分组相同key的value放到一个集合中
1.5 (可选)分组后的数据进行规约
2. reduce任务处理
2.1 对多个Map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点
2.2 对多个map任务的输出进行合并,排序,写reduce函数自己的逻辑,对输入的key,value处理,转换成新的key,value输出
2.3 把reduce的输出保存到文件中
1 0
- Mapeduce编程八大步骤
- 剖析Mapeduce程序
- 学习单片机的八大步骤
- 学习单片机的八大步骤
- 学习单片机的八大步骤
- 学习单片机的八大步骤
- 单片机学习的八大步骤
- Hadoop 配置的八大步骤
- 程序编程八大奥妙
- 揭密美国富翁的理财八大步骤
- 学习单片机不可欠缺的八大步骤
- 编程高手的八大奥秘
- 【编程练习】八大排序算法
- 编程步骤
- 在PHP中连接数据库的八大步骤
- 成为编程高手的八大奥秘
- 成为编程高手的八大奥秘
- 成为编程高手的八大奥秘
- 求无序序列每个元素最接近的值
- PL/SQL教程
- tomcat利用setenv对内存的限制和docker中tomcat内存的优雅配置
- iOS开发笔记-tabbar图标设成用户头像
- JAVA方法耗时信息捕捉并日志
- Mapeduce编程八大步骤
- js和jquery获取各种宽度和盖度
- s:url标签使用
- padding和margin两个重要属性的介绍及举例
- 利用newFixedThreadPool来设计一个线程管理类
- tar命令
- 对jQuery插件的一点点认识
- ScrollView的研究
- Android开发之获取当前设备的密度值(dp)