Crunch 学习（一）

来源：互联网发布：开源电商平台php 编辑：程序博客网时间：2024/06/03 15:18

Crunch 提供一种Mapreduce顶层抽象，简化Mapreduce的创建，降低入门成本。Crunch的亮点在于：允许在不使用Mapreduce结构的情况下，使用java对Mapreduce管道进行建模；可以不必像使用Pig和Hive那样在编写UDF时强制使用自带的数据类型，而且Crunch不强迫程序员使用自带的类型系统。

简单例子

public class MaxTemperatureCrunch extends Configured implements Tool,Serializable {    public static void main(String[] args) throws Exception {        int result = ToolRunner.run(new Configuration(), new MaxTemperatureCrunch(), args);        System.exit(result);    }    static DoFn<String,Pair<String,Integer>> toYearTempPairsFn(){        return new DoFn<String, Pair<String, Integer>>() {            NcdcRecordParser parser = new NcdcRecordParser();            @Override            public void process(String input, Emitter<Pair<String, Integer>> emitter) {                parser.parse(input);                if (parser.isValidTemperature()){                    emitter.emit(Pair.of(parser.getYear(), parser.getAirTemperature()));                }            }        };    }    @Override    public int run(String[] args) throws Exception {        Pipeline pipeline = new MRPipeline(MaxTemperatureCrunch.class,"max temperature");        PCollection<String> records = pipeline.readTextFile("hdfs://hadoop:9000/user/hadoop/temp/");        PTable<String, Integer> yearTemperatures = records                .parallelDo(toYearTempPairsFn(), tableOf(strings(), ints()));        PTable<String, Integer> maxTemps = yearTemperatures                .groupByKey()                .combineValues(Aggregators.MAX_INTS());        maxTemps.write(To.textFile("hdfs://hadoop:9000/user/hadoop/temp-out"));        PipelineResult result = pipeline.done();        return result.succeeded() ? 0 : 1;    }}

在Crunch中，每个Job都是开始与一个pipeline实例，它管理这数据管道的生命周期。pipeline主要有3种，MRPipeline 在本地或者Hadoop集群上运行mapreduce任务；MemPipeline在内存中运行一个pipeline，主要用于测试；SparkPipeline在本地或者hadoop集群上运行spark job。

 PCollection<String> lines = pipeline.readTextFile(inputPath);

Pcollection是Crunch API中的核心数据抽象概念，是一个分布式的，无序的集合。pipeline接口上的readTextFile()方法可以很方便的将一个文本文件转换成一个String泛型的Pcollection对象，当然也可以创建各种Hadoop InputFormat类型Pcollection。Source是一个接口，定义包装 InputFormat的配置，并且将InputFormat格式的数据读入pipeline。

读取数据后，需要对Pcollection每一个行记录进行处理。

PTable<String, Integer> yearTemperatures = records                .parallelDo(toYearTempPairsFn(), tableOf(strings(), ints()));

toYearTempPairsFn()方法返回一个DoFn

0 0