Beam学习笔记(1):SDK简介
来源:互联网 发布:软件开发行业市场前景 编辑:程序博客网 时间:2024/06/18 05:40
SDK调用流程
Beam SDK的通常使用套路是这样的:
1. Pipeline p = Pipeline.create(options); // 创建pipeline2. p.apply(PTransform t)…… // 对pipeline实施一系列变换3. p.run().waitUntilFinish(); // 由Runner实现run()方法
PTransform
PTransform<InputT, OutputT>
是 取走一个 InputT(PInput的子类型) 并 生成一个 OutputT(POutput的子类型) 的操作。
通常的 PTransforms包括:
- root PTransforms,如TextIO.Read,Create,输入为PBegin
- 处理和变换操作,如ParDo, GroupByKey, CoGroupByKey, Combine 和 Count
- 输出类型的PTransforms,如TextIO.Write,输出为PEnd
- 用户也可以自定义应用相关的复合PTransform,复合变换只需实现
expand(InputT)
方法,由输入计算输出
pipeline.apply()方法,也根据上述类型的不同,重载了多个方法。
0 0
- Beam学习笔记(1):SDK简介
- Beam学习笔记(2):Flink Runner简介
- Beam学习笔记(3):Flink Streaming Pipeline Translator
- Iphone 开发学习笔记(1)--Iphone SDK简介
- SDK学习笔记1
- Beam Search 简介
- Apache Beam简介
- Win32 SDK学习笔记1
- wxWidgets学习笔记(1)wxWidgets简介
- Memcache学习笔记(1)- memcache简介
- Node.js学习笔记(1、简介)
- html5学习笔记(1)简介
- Python 学习笔记(1)-简介
- JSP学习笔记(1)-JSP简介
- storm学习笔记 - 1(简介)
- Celery 学习笔记(1)简介
- pandas学习笔记(1)--pandas简介
- Git学习笔记(1)----简介
- MVC思想概述
- java阻塞队列
- QT中QWidget、QDialog及QMainWindow的区别
- 【优化】关于索引的总结
- 数组初始化的常用方法及其原理
- Beam学习笔记(1):SDK简介
- GMM实验
- Altium Designer PCB库设计
- Viewpager的无限轮播!!!
- java 面向对象
- ios view的形变
- Mysql创建方法语法
- 不要用子类!Swift的核心是面向协议
- 关于Fibonacci博弈的一些学习