使用Linux命令统计文件指定列中字符串出现次数

使用脚本生成测试文件，内容为几种编程语言的随机列表

此处使用了$RANDOM来生成随机数
生成一个样例文件，如test_201709，文件内容只有一列

#!/bin/bashgenerate_file="test_$(date +%Y%m)"names=(Java Shell C C++ Python Php Go)names_length=${#names[@]}rm -f ${generate_file}for i in {1..200}do  random_num=$RANDOM  index=$((random_num%names_length))  echo "${names[${index}]}" >> ${generate_file}done

统计各个语言出现的次数（以下测试中的次数重新生成文件后会不一样）

此处文件名可直接使用上述文件名规则test_$(date +%Y%m)

sort test_$(date +%Y%m) | uniq -c

执行结果如下，第一列为次数：

26 C27 C++32 Go27 Java33 Php29 Python26 Shell

按出现次数由高到底排序

sort test_$(date +%Y%m) | uniq -c | sort -k1,1nr

执行结果如下：

33 Php32 Go29 Python27 C++27 Java26 C26 Shell

找出出现次数最高或者最低的三种语言

1.次数最高三种语言

sort test_$(date +%Y%m) | uniq -c | sort -k1,1nr | head -3

执行结果如下：

33 Php32 Go29 Python

2.次数最低三种语言
1)次数最低语言由高到低排序展示

sort test_$(date +%Y%m) | uniq -c | sort -k1,1nr | tail -3

执行结果如下：

27 Java26 C26 Shel

2)次数最低语言由低到高排序展示

sort test_$(date +%Y%m) | uniq -c | sort -k1,1n | head -3

执行结果如下：

26 C26 Shel27 Java

以上操作针对是单列的文件，若对多列文件可用awk命令拆分出列，再进行以上操作即可

awk的-F选项可以指定分割符，默认分割符为空字符，获取某一列命令如下
n需要替换为具体列数

awk '{print $n}' file_nameawk -F ',' '{print $n}' file_name

若需要查找第二列出现次数前三且列分割符为’,’，命令如下：

awk -F ',' '{print $2}' file_name | sort | uniq -c | sort -k1,1nr | head -3

查看文件行数

file_name 可为多个文件，为多个时会把总行数显示，并且此时可按照行数排序来查找文件

wc -l file_name

例如在我当前测试目录下执行wl -l ./* 显示如下：

12 ./generate.sh200 ./test_201709212 total