简单统计、数据处理的几个常用命令:频率统计,和key匹配
来源:互联网 发布:姚明nba职业生涯数据 编辑:程序博客网 时间:2024/06/06 04:02
最近常用的几个数据处理的小技巧:
1. python的collections模块的Counter方法,和shell命令的sort uniq -c 做的是相同的事情,都是日常处理非常常见的,需要统计一个集合中各个元素的出现次数。
比如:对于一个列表test_list=[1,2,2,3,3,3,4,4,4,4,5,5,5,5,5,2,2,3,3],
test_dict=dict(Counter(test_list)),可以直接得到一个字典:{'1':1,'2':4,'3':4,'4':4, '5':5}
用 uniq -c 处理文本也是同样的效果。如果要从高频到低频排序,可以sort | uniq -c | sort -r就是逆序排序了。
当然,数据量小的话,在excel,用先排序,再分组小计的方法也是一样的。
2. 匹配:用excel的vlookup,和python的字典的方法,自然是最常用的。不过,还有一个偷懒的方法,就是grep -f 的方法,比如一个大文件 a.txt,第一列是key,有一个目标的key的集合,放在b.txt里,注意,文件b里就只有key,一个key一行。那么cat a.txt | grep -f b.txt > filtered_result.txt,就可以得到a中所有符合b中key的行。好处是比python简单,也不用担心excel处理后的异常字符或者格式问题,缺点就是慢,比python的字典索引查询方法慢了不止一个数量级。
0 0
- 简单统计、数据处理的几个常用命令:频率统计,和key匹配
- 统计频率和频数
- 如何通过关键词匹配统计其出现的频率
- 统计字符串中每个字符的出现频率,返回一个 Object,key 为统计字符,value 为出现频率
- matlab统计 频数、频率和累积频率
- HADOOP和Spark统计SRS的代码的单词频率
- 小程序:统计字符串出现的种类和频率
- 蛙蛙推荐:统计最长不完全匹配子串频率的非递归解法(动态规划)
- 字符统计2(统计出现频率最大的字符)
- 接口的认证,访问量,频率的统计
- 用于统计日常QQ聊天中会用到几个不同的汉字和每个汉字出现频率的Qt小程序
- 利用树统计单词出现的频率
- oracle统计某个字符出现的频率
- 统计文件中单词出现的频率
- 统计频率【map的用法】【字典序】
- 统计文本中英文单词的出现频率
- 链表,数组,相同值的频率统计
- 统计字符串各字母出现的频率
- css常用属性之颜色属性
- 照片资源使用
- POJ 3696 The Luckiest Number 欧拉函数
- SSL/TLS协议运行机制的概述
- C++之多态性与虚函数
- 简单统计、数据处理的几个常用命令:频率统计,和key匹配
- BASE64编码的图片在网页中的显示问题的解决
- js有趣的一行交换
- 大数据和空间限制的问题!
- 《浪潮之巅》写在前面的话
- Python调用C/C++动态链接库
- linux任务调度机制
- ByteArrayOutputStream和ByteArrayInputStream详解
- Android SDK 目录详解