Cascading Each Pipe 使用
来源:互联网 发布:vpn提供商 windows内置 编辑:程序博客网 时间:2024/05/16 07:33
Cascading 基本Pipe - Each 使用
Each,
说白了就是对Pipe中的每行进行处理。话不多说,直接上代码。
package cascading;
import cascading.flow.FlowConnector;
import cascading.flow.FlowDef;
import cascading.flow.hadoop.HadoopFlowConnector;
import cascading.operation.Insert;
import cascading.pipe.Each;
import cascading.pipe.Pipe;
import cascading.scheme.Scheme;
import cascading.scheme.hadoop.TextDelimited;
import cascading.tap.SinkMode;
import cascading.tap.Tap;
import cascading.tap.hadoop.Hfs;
import cascading.tuple.Fields;
public class EachPipe {
public static void main(String[] args) {
// defile input file column and delimeter
Scheme inScheme = new TextDelimited(new Fields("ID", "Name"), ";");
// define input file path
Tap intap1 = new Hfs(inScheme, args[0]);
// defile output path
Tap outap = new Hfs(inScheme, args[1], SinkMode.REPLACE);
Pipe inputPipe = new Pipe("inputPipe");
// use each pipe to add a new column for each record
inputPipe = new Each(inputPipe,
new Insert(new Fields("sourceflag"), 1), Fields.ALL);
FlowDef flowDef = FlowDef.flowDef().addSource(inputPipe, intap1)
.addTailSink(inputPipe, outap);
FlowConnector flowConnector = new HadoopFlowConnector();
flowConnector.connect(flowDef).complete();
}
}
- Cascading Each Pipe 使用
- Cascading TemplateTap的使用
- use pipe to contact with each other
- forEach , $.each() , $().each()的使用
- jquery $().each和$.each()使用
- pipe的使用
- IPC----pipe的使用
- pipe函数使用
- pipe命令使用
- pipe()函数的使用
- pipe()函数的使用
- pipe函数使用
- pipe管道的使用
- angular2--pipe管道使用
- pipe的使用
- Jquery的 each的使用 $.each()
- rman pipe的使用学习
- DBMS_PIPE的使用
- cocos2d-x 第一个项目
- 坐标系、坐标参照系、坐标变换、投影变换
- 求解?Unable to access java.sql.DatabaseMetaData to determine appropriate Dialect to use
- 修改putty非常暗的注释字体颜色
- 证明:一个有n个结点的非空二叉树的高度至少为lgn
- Cascading Each Pipe 使用
- 技术真的就不是那么重要了
- 嵌入式开发做什么
- leetcode之 median of two sorted arrays
- hdu 1008 Elevator
- 易语言中 内存报错 之 自定义数据类型
- 地图投影
- 如何用Visual Studio开发iOS、Android应用
- 用函数输出星星