shell笔记-使用awk数据分析

最近双十一红包项目，需要自己做数据分析，好久不使用awk，有些基本都忘记了，复习一下并记录供以后使用查询吧

awk学习博客：http://man.linuxde.net/awk

这个站点清晰、简单的介绍了awk的原理。awk的基本使用方法不再一一介绍。

简单介绍下我在数据分析时候的分组需求用法

红包广告做3次频次控制，计算广告有效请求，以下数据格式是根据节目id（第二列）和cookie（第三列）从hadoop group by出来的数据

文件格式为：

0     111     cookie1     1

0     112     cookie1     1

0     222     cookie2     3

0     333     cookie3     5

0     222     cookie4     10

广告有效请求是指对每个cookie1-3次以内按照真实次数计算，超过3次按照3次计算，分组分析计算脚本如下：

#!/bin/bash

echo  `date "+%Y-%m-%d %H:%M:%S"`" begin to analyze data"

if [ -n "$1" ]

then

    dt=$1

else

    dt=`date -d "1 day ago" "+%Y%m%d"`

fi

cat  new_youxiao_lid_phone_ios_${dt}.log| awk '{if($1==0){tb[$3]++}} END{for(k in tb){if(tb[k]<=3){num1+=tb[k];} else{num1+=3} } print "Phone\tIOS \t"num1}' >> result_live_${dt}.log;

猜猜结果是多少？  

执行结果是

Phone     IOS     12

使用数组进行分组，并使用流程控制加运算，是不是很简单。