使用awk对广告数据中bid、imp中的ip做运营商分类统计
来源:互联网 发布:mac版cad和windows 编辑:程序博客网 时间:2024/05/21 17:23
经验:
1. 数据量较大的情况下使用shell脚本直接做数据的分类统计处理更方便
在对广告日志中的ip做了运营商识别后,还有最后一步就是需要分类统计这些运营商的分布信息,刚好最近粗浅地学习了shell awk,然后想要使用shell awk对文本进行统计分析(实际上是用exccel做countif电脑直接死翘翘)
文本文件字段长这样
列信息分别是bid_ip,bid_company, imp_ip, imp_company
目标是:统计bid_comapny,imp_company里面分别的分类统计
解决方法:
awk ‘{s[$2] +=1} END {for(iin s){print i, s[i] }}’ ip_company.txt
awk ‘{s[$4] +=1} END {for(iin s){print i, s[i] }}’ ip_company.txt
阅读全文
0 0
- 使用awk对广告数据中bid、imp中的ip做运营商分类统计
- 使用awk做数据统计
- 使用awk + sort做数据统计
- awk模拟数据库做数据统计
- Linux中awk统计ip访问次数
- 使用keras对mnist数据集做分类
- awk统计独立IP
- 使用hadoop实现ip地理位置统计~ip归属地和运营商
- 分类中对数据标准化
- Shell 统计导出数据 awk 里使用shell变量 参数
- 使用Bitmap做数据分析统计
- awk中使用shell中的变量
- 分类统计数据库数据
- linux awk sort 统计ip出现次数
- 用exp/imp做数据迁移
- 使用Caffe对图像做训练、分类的流程总结
- MatConvNet 使用VGG网络模型对图像做分类处理
- tflearn中使用cnn做分类并做预测
- NYOJ61 传纸条(一)(双线dp)
- javascript开发:javascript面向对象、创建对象总结
- 字节对齐
- input输入框验证的弹层优化
- python with
- 使用awk对广告数据中bid、imp中的ip做运营商分类统计
- crond和crontab
- 网站备案和域名实名认证的重要性
- Oracle相关文章索引(2)
- 单片机串口接收多字节数据
- 图片的统一命名
- 拓扑排序--入度
- 8个方法教你快速消除眼袋
- 在Centos6.7上安装YARA