shell编程之变量以及awk命令和rename命令

常用的环境变量可以用env和set查看，但是最全面的还是man bash来查看。

在这里举例一些常用的环境变量echo $HOSTNAME                  查看主机名

echo $HOSTTYPE                 查看主机系统类型

echo $OLDPWD                    查看上一个路径

二、变量子串的常用操作

1.${#string}             返回值是该变量结果的长度

ex：

[root@foundation62 ~]# OLDBOY="I am oldboy"[root@foundation62 ~]# echo $OLDBOYI am oldboy[root@foundation62 ~]# echo ${#OLDBOY}11

2.${string:number}    返回值是从number值开始（不包括number）往后的字符串(开头遇见空格自动忽略)

[root@foundation62 ~]# echo ${OLDBOY:2}am oldboy

3.${string:number1:number2}      返回值是从number1开始往后number2个字符的字段。

[root@foundation62 ~]# echo ${OLDBOY:2:4}am o

4.${string#substring}                  从变量$string开头开始删除最短匹配$substring字串

[root@foundation62 ~]# OLDBOY="I am oldboy I am"[root@foundation62 ~]#  echo ${OLDBOY#I am}oldboy I am

5.${string%substring}                 从变量$string结尾开始删除最短匹配$substring字串

[root@foundation62 ~]# echo ${OLDBOY%I am}I am oldboy

6.${string/word1/word2}           从开始最短匹配，使用word2来代替在$string中存在的第一个word1

[root@foundation62 ~]#  echo ${OLDBOY/I am/haha}haha oldboy I am

7.${string/%word1/word2}       从结尾开始，使用word2来代替在$string中存在的第一个word1

[root@foundation62 ~]#  echo ${OLDBOY/%I am/haha}I am oldboy haha

统一规律#从头开始，%从结尾开始。

例子：

1.将该目录下stu_xikai1.txt             stu_xikai3.txt            stu_xikai5.txt                stu_xikai2.txt           stu_xikai4.txt中的xikai替换成mnt

[root@desk testdir]# lsstu_xikai1.txt  stu_xikai3.txt  stu_xikai5.txtstu_xikai2.txt  stu_xikai4.txt[root@desk testdir]# for file in $(ls);do mv ${file} ${file/xikai/mnt};done[root@desk testdir]# lsstu_mnt1.txt  stu_mnt2.txt  stu_mnt3.txt  stu_mnt4.txt  stu_mnt5.txt

2.将如下目录中的文件名替换为大写

[root@desk testdir]# lsa.html  b.html  c.html  d.html  e.html  f.html  g.html[root@desk testdir]# for file in *.html;do mv $file `echo ${file}|tr  "[a-z]" "[A-Z]" ` ; done[root@desk testdir]# lsA.HTML  B.HTML  C.HTML  D.HTML  E.HTML  F.HTML  G.HTML

###########################################################

[root@desk testdir]# for file in *.HTML ;do mv $file ${file/HTML/html};done[root@desk testdir]# lsA.html  B.html  C.html  D.html  E.html  F.html  G.html

###########################################################

或者：[root@desk testdir]# for file in *.html ;do mv $file `echo $file|sed 's/HTML/html/g'`;done[root@desk testdir]# lsA.html  B.html  C.html  D.html  E.html  F.html  G.html

###########################################################

awk命令详解

使用方法

awk '{pattern + action}' {filenames}

尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。

awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

awk [-F field-separator] 'commands' input-file(s) 

其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

假设last -n 5的输出如下

[root@www ~]# last -n 5 <==仅取出前五行root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged inroot     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

如果只是显示最近登录的5个帐号

#last -n 5 | awk  '{print $1}'rootrootrootdmtsairoot

awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。

如果只是显示/etc/passwd的账户

[root@desk ~]# awk -F ":" '{print $1}'  /etc/passwd

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为':'。

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

[root@desk testdir]# cat /etc/passwd |awk -F ":" '{print $1"\t"$7 }'admin    /bin/bashleo    /bin/bashteo    /bin/bashstudent    /bin/bash

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

[root@desk testdir]# cat /etc/passwd |awk -F ":" 'BEGIN {print "name,shell"} {print $1"\t" $7 } END {print "blue,/bin/nosh"}'

需要注意，再利用awk命令时，后边跟的命令共用一个单引号

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

搜索/etc/passwd有root关键字的所有行

[root@desk testdir]# awk -F: "/root/" /etc/passwd

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd

搜索/etc/passwd有root关键字的所有行，并显示对应的shell

[root@desk testdir]# awk -F: "/root/"  /etc/passwd  |awk -F ":" '{print $7}'/bin/bash/sbin/nologin[root@desk testdir]# awk -F: '/root/{print $7}'  /etc/passwd  /bin/bash/sbin/nologin

 这里指定了action{print $7}

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数ARGV               命令行参数排列ENVIRON            支持队列中系统环境变量的使用FILENAME           awk浏览的文件名FNR                浏览文件的记录数FS                 设置输入域分隔符，等价于命令行 -F选项NF                 浏览记录的域的个数(列数)NR                 已读的记录数（行数）OFS                输出域分隔符ORS                输出记录分隔符RS                 控制记录分隔符

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

 awk -F ":" '{print "文件名：" FILENAME "列数："NF "行数："NR "完整内容："$0  }' /etc/passwd文件名：/etc/passwd列数：7行数：42完整内容：admin:x:1003:1006::/home/admin:/bin/bash文件名：/etc/passwd列数：7行数：43完整内容：leo:x:1004:1007::/home/leo:/bin/bash文件名：/etc/passwd列数：7行数：44完整内容：teo:x:1005:1005::/home/teo:/bin/bash文件名：/etc/passwd列数：7行数：45完整内容：student:x:1006:1008::/home/student:/bin/bash

使用printf替代print,可以让代码更加简洁，易读：[root@desk testdir]# awk -F ":" '{printf("filename:%s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

print和printf

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。

 变量和赋值

除了awk的内置变量，awk还可以自定义变量。

下面统计/etc/passwd的账户人数

[root@desk testdir]# awk  ' {count++;print $0>1} END {print "user counts is:" count}'  /etc/passwd
user counts is:45
这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:

[root@desk testdir]# awk  'BEGIN {count=0;print"[START]user count is:",count } {count++;print $0>1} END {print "[END]user counts is:" count}'  /etc/passwd[START]user count is: 0[END]user counts is:45

统计某个文件夹下的文件占用的字节数:

[root@desk testdir]# ls -l|awk ' {a=a+$5} END {print a}'2264

如果以M为单位显示:

[root@desk testdir]# ls -l|awk ' {a=a+$5}  END {b=a/1024 ;print b"M"}'2.21094M

注意，统计不包括文件夹的子目录

条件语句

统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):

[root@desk ~]# ll | awk 'BEGIN{b=0} {if($5<4096){b=b+$5;} } END {print b/1024"M"}'0.189453M

 

循环语句

awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

数组

  因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。

 

显示/etc/passwd的账户

[root@desk ~]# awk -F ":" 'BEGIN{a=1} {print a++"\t"$1}' /etc/passwd1    root2    bin3    daemon4    adm5   

RENAME命令简介：

批量改掉相同之处：rename  "文件要改的地方"  "改成啥"    要改的文件

[root@desk testdir]# ls1                 stu_102999_2.jpg  stu_102999_4.jpgstu_102999_1.jpg  stu_102999_3.jpg  stu_102999_5.jpg[root@desk testdir]# rename "jpg" "txt" stu*[root@desk testdir]# ls1                 stu_102999_2.txt  stu_102999_4.txtstu_102999_1.txt  stu_102999_3.txt  stu_102999_5.txt[root@desk testdir]# ls1                 stu_102999_2.txt  stu_102999_4.txt

[root@desk ~]# awk -F ":" '{print $1}'  /etc/passwd

[root@desk ~]# awk -F ":" '{print $1}'  /etc/passwd