浅析shell编程

      shell诞生于Unix，是与unix/linux交互的工具。shell 编程指令简单、灵活、高效；可移植性高；可以实现自动化管理，它特别适合处理一些小问题。本文会尝试总结一些常用的shell编程指令和学习一些增加编程效率的技巧，并把目录分为shell编程基础、文本处理、文件处理、系统管理类、用户管理类、其他指令和遇到的一些问题，共七部分分别进行介绍。
          所谓磨刀不误砍柴工吧，这些基础知识确实可以增加你的工作效率。本文的主要目录如下：
一、编程基础
二、文本处理
三、文件处理
四、系统管理
五、用户管理
六、其他指令
七、遇到的问题和处理方法

     一、编程基础：

           1. shell变量：

                  shell是一种弱类型的语言，使用变量无需声明类型。shell变量为当前shell进程私有，如果使用export可以把变量声明为系统变量，那么所有的进程均可以使用。 其中对环境变量操作的命令如下：

env       #用于显示用户环境区中的变量及其取值；set       #用于显示本地数据区和用户环境区中的变量及其取值；unset     #用于删除指定变量当前的取值，该值将被指定为NULL；export    #命令用于将本地数据区中的变量转移到用户环境区。source    #当前环境下执行并读取filename下文件的内容、命令。与bash的区别是bash只会影响子进程

 

              其中declare是一种功能强大的声明指令，可以用来声明变量、函数、声明全局变量。具体用法：declare [+/-][rxi][变量名称＝设置值] 或 export [-fnp][变量名称]=[变量设置值]。

 

           2. 条件控制类：if, for, while, case:                 

 

a=1if [ $a"x" == "1x" ];then    echo "Hello 1";fiif [ $a -eq 1 ];then    echo "Hello 2";fiif [[ $a -eq 1 ]];then    echo "Hello 3";fiwhile truedo    echo "abcdef";    break;donefor((i=1;i<=10;i++))do    echo $(expr $i \* 4)    break;done-r file    #用户可读为真-w file    #用户可写为真-x file    #用户可执行为真-f file    #用户为文件为真，存在-d file    #文件尾目录为真-c file    #文件为字符特殊文件为真-b file    #文件为块特殊文件为真-s file    #文件大小非0为真-t file    #文件描述符指定设备为终端时为真

 

           3. shell参数传递：

sh a.sh#!/bin/bashecho $#    #传递给脚本的参数个数echo $*    #表示所有向脚本传递的参数。echo $@    #与$#相同，使用时加上引号，并在引号中返回每个参数echo $?    #返回上一个命令的退出状态  echo $!    #返回后台运行的最后一个进程的进程ID号。func fsum(){    echo $1+$2;}func 5 7

           4. shell注释：

sh a.sh#!/bin/bash#这是一个注释:<<\EOF    这是另一个高手    echo "this is comments"EOF

     二、文本处理类：
             shell文本处理的指令很多，并且功能强大。包括基础的指令如：echo, vi, more, cat, tail , less，vimdiff 管道指令 | , < , > , <<，支持更多的扩展的指令如 awk, sed, tr。 

            1. vi编程技巧:

                   a. 基本指令：

 

h      #向上j      #向左k      #向右l      #向下a      #插入o      #插入一行，并在行首开始O      #在当前行前插入一行，并在行首开始dd     #删除当前行x      #删除当前字符yy     #复制当前行p      #在当前行后面粘贴P      #在当前行前面粘贴10G    #光标到第10行G      #到文件末尾0      #行首u      #撤销ctrl+v #多列操作ctrl+r #撤销刚才的撤销操作ctrl+f/b  #下一页/上一页shift+#   #查找当前单词的下一个出现位置:set nu   #显示行号 

 

                   b. 窗口切分：

split/vsplit      #垂直/水平切分ctrl+w+w          #切换窗口:quitall          #全部退出:only             #只保留当前窗口:wall             #全部保存:edit file        #打开文件file编辑vi -o a.sh b.sh   #打开a.sh和b.sh并切分窗口编辑

 

 

                   c. tags使用：

:tags=tags file   #指定tag文件ctrl+]      #跳转到当前单次定义处ctrl+T      #跳转回远处</span>

            2.  awk：

            awk是一种功能强大的文本处理工具，它提供了极强大的功能，可以样式装入，流控制，数学运算符，进程控制符号，内置变量和函数。

 

NR                #行号NF                #列号ARGIND            #文件编号BEGIN{}           #初始化执行的语句{}                #每行都执行的语句END{}             #最后执行的语句echo "12 23"| awk'    #awk函数定义的变量全部是全局变量,function max(a,b,c){  #在awk的非函数里面使用"''"可以引用bash定义的变量，awk的函数里面只能使用局部变量    a = 1; b = 2; c = 3;    print a,b,c    return a > b ? a : b;}{print max($1,$2);print a,b,c}'awk '/101/,/102/' file          #查找匹配的行awk '$1=='test'{$3="Change"}'   #条件修改awk '{if($0~/101/) print $0}' file  #从file文件逐行读入，并查找匹配行#awk内置函数artan2/cos/exp/int/log/sin/sqrt #内置数学函数length(str)                     #返回字符串长度array=split(str,',');           #把字符串切分成数组substr                          #返回字符串的子串var=${var//,/ /}                #把,替换成空格，并且可以使用for item in var

 

            3.  sed：

 

sed -n '1,5p' file              #只显示1-5行sed '1,5d'    file              #去除1-5行sed '/^ *$/d' file              #删除空格行cat file | tr " " "\t" > file1  #替换空格为\tsed '/[a-z]/d' file             #删除匹配行#中文处理：cat a | tr -d -c $'[a-z0-9\.\?\_ \r\t\n{}()!?]' #删除文件中中文cat file | grep -Po '(?<=")[^!-~]+'             #提取文件中中文tr -d $'[a-zA-Z\.\?\_+\r{}()!?,/\-"\':<>%]' | sed 's/《//;s/「//;s/」//;s/、//;s/》//;s/》//;s/〕//;s/（//;s/②//;s/①//;s/③//;s/《//;s/》//'                                        #仅保留文件中中文

 

            4.  ctags：

            5.  常用组合键：

ctrl+z            #当前任务切换到后台执行ctrl+d            #结束输入或退出shellctrl+s            #暂停屏幕输出ctrl+q            #恢复屏幕输出Ctrl+a            #切换到命令行开始处ctrl+e            #切换到命令行末尾ctrl+u            #剪切清除光标之前的内容ctrl+k            #清除光标及光标以后的内容ctrl+y            #在光标处粘贴剪切的内容ctrl+r            #查找历史命令ctrl+t            #调换光标与光标前字符，并且换光标到下一个字符ctrl+x+u          #撤销操作

 

     三、文件处理类：

mv            #移动文件/重命名cp            #拷贝文件rm            #删除文件夹  -rf 删除目录并且忽略提示find ./ -name filename            #查找文件locate        #全部计算机查找文件find. | xargs grep -ri "IBM"      #查找当前目录下包含IBM的文件

 

     四、用户管理类：

useradd username -d /home/username -s /bin/bash -g usergroup -G useradditionalgroup           #移动文件/重命名passwd  username        #修改用户密码userdel username        #删除用户

 

     五、系统管理类：

du -d 1 -h *            #查看当前目录文件大小netstat -nao           #查看进程占用端口号mount /dev/sda3 /mnt/mount    #加载硬/U盘fdisk -l                #查看电脑硬盘占用情况df                      #查看电脑分区使用情况top                     #查看运行进程kill/killall            #杀死进程ps -ef | grep processname | grep -v grep | cut -d " "-f 2 | xargs kill -s 9      #杀死进程screen                  #终端屏幕管理工具polysh                  #多机log管理工具

 

      六、其他： 

 

ctrl+z  #把当前进程暂停，并切换到后台jobs    #查看后台运行进程fg 1    #把第一个进程放置到前台执行bg 1    #把第一个进程放置到后台执行alias command1 command2 #把command1的别名设置为command2#vimdiffzf      #创建折叠za      #切换折叠状态zo      #打开折叠zc      #关闭折叠zr      #打开所有折叠zm      #关闭所有折叠zj/zk   #下一折叠开始/上一折叠末尾dp      #拷贝另一个文件的当前行到当前文件中do             #拷贝另一个文件的内容到当前文件中

#crontab 定时任务crontab -e    #打开计划任务管理界面00 14 * * 7 cd pwd; sh execute.sh 1>log 2>err &   #定时开启计划任务  分/时/日/月/星期nohup sh execute.sh 1>log 2>err & #建立终端断开仍会继续执行的异步任务  

dmesg 是一种程序，用于检测和控制内核环缓冲。 

 

      七、问题及解决办法：

           1. 去除字符串前面的0。

           2.ubuntu 执行shell脚本，报错Syntax error: "(" unexpected解决方法的方法： 
                   写了一些简单的shell脚本，简单的数组处理，可是却无法编译执行。后来仔细检查代码和搜索发现：因为Ubuntu为了加快开机速度，用dash代替了传统的bash，是dash在捣鬼。现在我们可以 取消dash。
                   sudo dpkg-reconfigure dash 。然后在弹出的窗口中选择否。

           3. 重用ssh连接：ssh有一个功能，可以在第一次打开以后一直保留这个ssh连接，后续继续打开的ssh连接会继续使用这个ssh连接的TCP连接，也就是下次不用输入密码了。简单方便：

                  vi ~/.ssh/config， 添加如下内容（然后再次建立ssh连接，就可以愉快的不用输入密码了）：

              Host *              ControlMaster auto              ControlPath ~/.ssh/master-%r@%h:%p

 

参考文献：

[1]. vim 分割窗口： http://www.linuxidc.com/Linux/2012-08/69363.htm

[2].  vi命令大全 http://www.cnblogs.com/88999660/articles/1581524.html

[3].  awk 编程总结： http://bbs.chinaunix.net/thread-691456-1-1.html

[4].  sed 编程总结： http://www.iteye.com/topic/587673
[5].  ssh 的连接重用：http://www.fwolf.com/blog/post/385