Linux小工具的应用，grep，sort，wc，cut

小工具的使用：

1、管道（|）：连接多个命令的工具，进程之间通讯的一种方式
用法：命令1 | 命令2 | 命令3....

2、grep工具：行过滤，打印出的结果一行一行的
用法：grep options 关键字 处理的文件
options:
-i: 不区分大小写
-v: 查找不包含指定内容的行,反向选择
-w: 按单词搜索
-c: 统计匹配到的次数[行数]
-n: 显示行号
-r: 逐层遍历目录查找
-A: 显示匹配行及前面多少行
grep -A 3 关键字 文件名
-B: 显示匹配行及后面多少行
-C: 显示匹配行前后多少行
--color=auto ：可以将找到的关键词部分加上颜色的显示
grep --color=auto 关键字 文件名
-l：只列出匹配的文件名
-L：列出不匹配的文件名
-o ----显示匹配到的关键字
-e: 使用正则搜索 grep -e xxx =egrep xxx
^key:以什么开头
key$:以什么结尾

每次过滤都显示颜色：
vim ~/.bashrc
alias grep='grep --color=auto'
source ~/.bashrc


3、cut工具：截取某一个字符，列过滤
-c ：以字符为单位进行分割。
-d ：自定义分隔符，默认为制表符。
-f ：与-d一起使用，指定显示哪个区域。

# cut -d: -f1,3,6 passwd|head ---head查看前10行，tail 后10行，打印第1,3，6行
# cut -d: -f1 passwd|head ----以：号分隔开的区域，f1为第一块区域，f2为第2块区域，一次类推
inet addr:172.16.13.74 Bcast:172.16.13.255 Mask:255.255.255.0
区域1 区域2 区域3 区域4

# cut -c10,15 passwd |head
# cut -c10-15 passwd |head 打印第10-15的字符
# cut -c10- passwd |head 打印第10个字符直到最后字符

注意：
cut的-d选项的默认间隔符就是制表符，所以当你就是要使用制表符的时候，完全就可以省略-d选项，而直接用－f来取域就可以。
-b和-c选项，-n表示从第一个字节到第n个字节，而n-表示从第n个字节到行尾

课堂练习：
用小工具列出你当系统的运行级别。5/3


4、sort工具：
排序，将文件的每一行作为一个单位，从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。
-u ：去除重复行，不管是否连续，都会去除
-r ：降序排列，默认是升序
-o :将排序结果输出到文件中
-n ：以数字排序，默认是按字符排序
-t ：分隔符
-k ：第N列
-b ：忽略前导空格。
-R ：随机排序，每次运行的结果均不同。
> ----将文件重定向（保存）到其他文件中
sort -nr -t: -k3 passwd |head




5、uniq 去除连续重复行，不连续不去除
uniq options filename
[options]
-i : 忽略大小写
-c: 统计重复行次数
-d:只显示重复行




6、tee：从标准输入读取并写入标准输出和文件
echo 标准输出的内容|tee filename 输出的内容会覆盖filenme 的内容
tee 双向覆盖重定向<屏幕输出|文本输入>

tee -a 双向追加重定向<屏幕输出|文本输入>
echo 标准输出的内容|tee -a filename
注意：如果对源文件处理再重定向到源文件的话会把源文件的所有的内容删除，并且不会重定向成功。
例如：# cp /etc/passwd /tmp/passwd
# grep ^root /tmp/passwd |tee /tmp/passwd
结果：# cat /tmp/passwd 什么都没有。


7、paste 合并文件行
-d：自定义间隔符，默认是tab
-s：串行处理，非并行
用法：
paste file1 file2 ----两个文件不需要相同行数，行数对应合并
paste -d符号 file1 file2 --其中-d后面接的是连接符号。
例如：file1 内容为A
file2内容为1
paste -d: file1 file2
结果为：A:1


8、tr 替换 接收输入流文件
tr用来从标准输入中通过替换或删除操作进行字符转换。
tr主要用于删除文件中控制字符或进行字符转换。
使用tr时要转换两个字符串：字符串1用于查询，字符串2用于处理各种转换。
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。 tr -s '[a-z]' < 9、pass
tr '[a-z]' '[A-Z]' < pass

a-z 任意小写
A-Z 任意大写
0-9 任意数字
[:alnum:] all letters and digits//所有字母和数字
[:alpha:] all letters//所有字母
[:blank:] all horizontal whitespace//所有水平空白
[:cntrl:] all control characters//所有控制字符
\b Ctrl-H 退格符
\f Ctrl-L 走行换页
\n Ctrl-J 新行
\r Ctrl-M 回车
\t Ctrl-I tab键
[:digit:] all digits//所有数字
[:graph:] all printable characters, not including space//所有可打印的字符，不包含空格
[:lower:] all lower case letters//所有小写字母
[:print:] all printable characters, including space//所有可打印的字符，包含空格
[:punct:] all punctuation characters//所有的标点符号
[:space:] all horizontal or vertical whitespace//所有水平或垂直的空格
[:upper:] all upper case letters//所有大写字母
[:xdigit:] all hexadecimal digits//所有十六进制数字
[=CHAR=] all characters which are equivalent to CHAR//所有字符



10、diff 比较文件的差异
1、正常格式（normal diff）
2、上下文格式（context diff） -c参数
3、合并格式（unified diff） -u参数
-i：忽略大小写
-B：忽略空行
-b：忽略空格

[root@node1 Desktop]# cat file1
a
b
c
3
e

[root@node1 Desktop]# cat file2
a
b
c
d
e
8
[root@node1 Desktop]# diff file1 file2
4c4
< 3 第二个文件相对第一个文件少了1个3
---
> d
6c6
<
---
> 8
[root@node1 Desktop]# diff file2 file1
4c4
< d
---
> 3
6c6
< 8
---
>
[root@node1 Desktop]# diff -c file2 file1
***（代表第一个文件） file2 2017-04-21 17:25:58.448733455 +0800
--- file1 2017-04-21 17:24:46.026733277 +0800
***************
*** 1,6 ****
a
b
c
! d
e
! 8
--- 1,6 ----
a
b
c
! 3
e
!
[root@node1 Desktop]# diff -u file2 file1
--- file2 2017-04-21 17:25:58.448733455 +0800
+++ file1 2017-04-21 17:24:46.026733277 +0800
@@ -1,6 +1,6 @@
a
b
c
-d
+3
e
-8
+
[root@node1 Desktop]# diff -u file1 file2
--- file1 2017-04-21 17:24:46.026733277 +0800
+++ file2 2017-04-21 17:25:58.448733455 +0800
@@ -1,6 +1,6 @@
a
b
c
-3
+d
e
-
+8
[root@node1 Desktop]#

11、wc工具： 统计行 字符 单词数
-l： 打印行数
-c： 打印字节数
-m： 打印字符数
-w： 打印单词数
-L： 打印最长行的长度


4、扩展：
（一）“字节”的定义
字节（Byte）是一种计量单位，表示数据量多少，它是计算机信息技术用于计量存储容量的一种计量单位。
（二）“字符”的定义
字符是指计算机中使用的文字和符号，比如1、2、3、A、B、C、~！·#￥%……—*（）——+、等等。
（三）“字节”与“字符”
不同编码里，字符和字节的对应关系不同：
①ASCII码中，一个英文字母（不分大小写）占一个字节的空间，一个中文汉字占两个字节的空间。
②UTF-8编码中，一个英文字符等于一个字节，一个中文（含繁体）等于三个字节。
③Unicode编码中，一个英文等于两个字节，一个中文（含繁体）等于两个字节。
符号：英文标点占一个字节，中文标点占两个字节。举例：英文句号“.”占1个字节的大小，中文句号“。”占2个字节的大小。
④UTF-16编码中，一个英文字母字符或一个汉字字符存储都需要2个字节（Unicode扩展区的一些汉字存储需要4个字节）。
⑤UTF-32编码中，世界上任何字符的存储都需要4个字节。

du和df工具：

1）du：统计目录或文件大小
-h:以人性化的方式查看 KB、MB、GB
-s：显示总和

2）df：查看文件系统的使用情况
-H：使用1000位进制单位，而不是1024
-h:以人性化的方式查看 KB、MB、GB
-T：显示文件系统类型
-i：列出inode信息


作业1：
分别截取IP；截取NETMASK；截取广播地址（Bcast）；截取MAC地址
ifconfig eth0
ifconfig eth0 |grep Bcast |cut -d: -f2|tr -d '[:alpha:]'
ifconfig eth0 |grep Bcast |cut -d: -f2|tr -d '[:alpha:]'|tr -d '[:]'
ifconfig eth0 |grep MAC地址|cut -c -39-

作业2：
将系统中所有普通用户的用户名、密码和默认shell保存到一个文件中，要求用户名密码和默认shell之间用tab键分割
cat /etc/passwd
普通用户：1-500
grep bash& /etc/passwd |grep ^root -v |cut -d: -f1,2,7 |tr '[:]' '[\t]'