linux 统计文件字段并排序
来源:互联网 发布:批处理编程 编辑:程序博客网 时间:2024/05/23 01:11
问题1:现在有一万多条记录,其中包含重复的记录,每条记录占一行,问如何从这些记录中找到数量排名前10的记录?
- $ sort datafile | uniq -c | sort -k 1 -n -r | head -n 10
- 解析:
- sort date
- 表示对data文件中的内容进行排序。sort命令是对于每一行的内容根据字典序(ASCII码)进行排序,这样可以保证重复的记录时相邻的。
- sort data | uniq -c
- uniq -c 表示合并相邻的重复记录,并统计重复数。因为uniq -c 只会合并相邻的记录,所以在使用该命令之前需要先排序。
- sort data | uniq -c | sort -k 1 -n -r
- 经过uniq -c 处理之后的数据格式形如"2 data",第一个字段是数字,表示重复的记录数;第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序,这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII,这就会导致按从大到小进行排序时,数值2会排在数值11的前面,所以需要使用-n 参数指定sort命令按照数值大小进行排序。-r 表示逆序,即按照从大到小的顺序进行排序。
- 经过uniq -c 处理之后的数据格式形如"2 data",第一个字段是数字,表示重复的记录数;第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序,这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII,这就会导致按从大到小进行排序时,数值2会排在数值11的前面,所以需要使用-n 参数指定sort命令按照数值大小进行排序。-r 表示逆序,即按照从大到小的顺序进行排序。
- sort data | uniq -c | sort -k 1 -n -r | head 10
- head 命令表示选取文本的前x行。通过head 10 就可以得到排序结果中前十行的内容。
- head 命令表示选取文本的前x行。通过head 10 就可以得到排序结果中前十行的内容。
- sort date
cat datafile | awk '{print $1}' | sort | uniq -c | sort -k 1 -n -r | wc -l > result.txt
按照文件中第一个字段,做统计
- awk ‘{print $1}’:日志记录中的第一个字段
统计一个文件中所有单词,并按出现频率排序 (单词以'\t', ' ', '\n'分割)·
tr -s "\t| " "\n" < list_of_not_defined_keywords.csv | sort | uniq -c | sort -k 1 -n -r
参考文章:
- 巧用Linux命令完成统计排序功能
0 0
- linux 统计文件字段并排序
- Linux 访问日志统计某个字段并排序功能
- Linux awk+uniq+sort 统计文件中某字符串出现次数并排序
- 统计文件中数据出现的次数并排序
- Linux统计单词次数并按次数排序
- linux C 读取目录文件并统计文件数
- linux C 读取目录文件并统计文件数
- mysql并统计同一字段的数量,最后按这个数量降序排序
- MySQL根据某个字段值统计总数并按照大小排序结果
- PHP+MySQL对当月,当周,当日数据统计,并将相应字段分组排序
- Java字符统计并排序
- 统计字母频率并排序
- sql语句,字段拆分并统计次数
- 用linux命令分析文件(排序,统计)
- 用linux命令分析文件(排序,统计)
- Linux通过日志文件统计IP访问次数排序
- 统计指定目录下,指定文件后缀的文件代码行数,并排序
- Linux统计单个文件统计
- shell之重定向
- 匿名方法 与 Lambda 表达式
- private void jButton
- 微软为Windows全球发展计划招募APP开发者
- 【笔试】超大文件里的数据去重排序;将log中MAC地址提取出来;取出数据库表T里第20行到29行的数据;如何判断一个二叉树B是不是二叉树A的子树?
- linux 统计文件字段并排序
- spring security <http> 配置介绍
- 删除数组的重复元素
- 思前想后,还是开通了自己的博客
- Spring 入门, Spring 是什么,好处,体系结构
- Powershell使用哈希表
- [LeetCode] Spiral Matrix
- SQL Server 2008 数据库同步 (发布、订阅)
- sql练习总结(一)