awk and hadoop 之reducer

来源:互联网 发布:二叉树 treenode java 编辑:程序博客网 时间:2024/06/05 18:33

配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。

awk -F '\t' '{  id = $1;  tag = $2;  if (0 == tag){    idPre = $1;  }else (1 == tag && id == idPre){    print $3"\t"id;      }  }'

 

0 0