linux于unix shell编程指南 (1)

2011年8月23日  20时24分36秒
linux于unix shell编程指南
 第一章 文件安全与权限
  chmod 改变权限
  suid/guid： suid意味着如果某个用户对属于自己的 shell脚本设置了这种权限,那么其他用户在执行这
一脚本时也会具有其属主的相应权限。于是,如果根用户的某一个脚本设置了这样的权限,
那么其他普通用户在执行它的期间也同样具有根用户的权限。同样的原则也适用于 g u i d,执
行相应脚本的用户将具有该文件所属用户组中用户的权限。

chown与chgrp改变所有者
umask 文件默认是（666-umask） 目录默认是（777-umask）

第二章 使用find和xargs
Find命令的一般形式为:
find pathname -options [-print -exec -ok]
让我们来看看该命令的参数:
pathname find命令所查找的目录路径。例如用 .来表示当前目录,用 /来表示系统根目录。
-print find命令将匹配的文件输出到标准输出。
-exec
find命令对匹配的文件执行该参数所给出的 s h e l l命令。相应命令的形式为 ' c o m m -
and' {} \;,注意{}和\;之间的空格。
-ok 和-exec的作用相同,只不过以一种更为安全的模式来执行该参数所给出的 shell命令,
在执行每一个命令之前,都会给出提示,让用户来确定是否执行。
常用的命令选项：
-name 按文件名查找文件
-type 查找某一类型的文件    
       b - 块文件
       d - 目录
       c - 字符设备文件
       l - 符号链接文件
       f - 普通文件

第3章 后台执行程序
&永远将程序放在后台运行
利用ps命令和grep命令找出相应的进程。
hohup命令：该命令可以让你再退出账户之后继续运行相应的进程。一般形式
         nohup command &
使用nohup时可以将输出重定向到一个文件

第4章 文件名置换

* 匹配文件名中的任何字符串,包括空字符串。
? 匹配文件名中的任何单个字符。
[...] 匹配[ ]中所包含的任何字符。
[!...] 匹配[ ]中非感叹号!之后的字符。
当shell遇到上述字符时,就会把它们当作特殊字符,而不是文件名中的普通字符,这样
用户就可以用它们来匹配相应的文件名。

第5章 shell的输入与输出

必须使用- n选项来禁止echo命令输出后换行:
必须使用-e选项才能使转义符生效:

管道的使用
sed、awk和grep都很适合用管道,特别是在简单的一行命令中。

文件重定向
                常用文件重定向命令
command > filename        把标准输出重定向到一个新文件中
command >> filename       把标准输出重定向到一个文件中 (追加)
command 1 > fielname      把标准输出重定向到一个文件中
command > filename 2>&1   把标准输出和标准错误一起重定向到一个文件中
command 2 > filename      把标准错误重定向到一个文件中
command 2 >> filename     把标准输出重定向到一个文件中 (追加)
command >> filename 2>&1  把标准输出和标准错误一起重定向到一个文件中 (追加)
command < filename >filename2 把command命令以filename文件作为标准输入,以filename2文件作为标准输出
command < filename        把command命令以filename文件作为标准输入
command << delimiter      把从标准输入中读入,直至遇到 delimiter分界符
command <&m               把文件描述符 m作为标准输入
command >&m               把标准输出重定向到文件描述符 m中
command <&-               关闭标准输入

如果要创建一个长度为0的空文件，可以使用">filename"

结合使用标准输出和标准错误：如
     cat file1 file2 1>file.out 2>file.err
合并使用标准输出和标注错误
     cleanup  >cleanup.out 2>&1


第6章 命令执行顺序
1.  &&命令：command1 && command2
    ||命令
    类似逻辑与或操作
2.  用()和{ }将命令结合在一起
    为了在当前 s h e l l中执行一组命令,可以用命令分隔符隔开每一个命令,并把所有的命令用圆括号()括起来。
    它的一般形式为:
    (命令1;命令2;...)
    如果使用 { }来代替(),那么相应的命令将在子shell而不是当前shell中作为一个整体被执行,只有在{ }中所有
    命令的输出作为一个整体被重定向时,其中的命令才被放到子shell中执行,否则在当前shell执行。
    它的一般形式为:
    {命令1;命令2;...}

第7章 正则表达式介绍
1.  基本元字符集及其含义
^ 只只匹配行首
$ 只只匹配行尾
* 只一个单字符后紧跟 *,匹配0个或多个此单字符
[] 只匹配 [ ]内字符。可以是一个单字符,也可以是字符序列。可以使用 - 表示[]内字符序列范围,如用 [1-5]代替[12345]
\  只用来屏蔽一个元字符的特殊含义。因为有时在 s h e l l中一些元字符有特殊含义。 \可以使其失去应有意义
. 只匹配任意单字符
pattern\{n\} 只用来匹配前面 pattern出现次数。 n为次数
pattern\{n,\}m 只含义同上,但次数最少为 n
pattern\{n,m\} 只含义同上,但 pattern出现次数在 n与m之间

匹配空行：^$
匹配只有一个字符的行：^.$

                       经常使用的正则表达式举例
^               对行首
$               对行尾
^[the]          对以the开头行
[Ss]igna[lL]    对匹配单词signal、signaL 、Signal、SignaL
[Ss]igna[lL]\.  对同上,但加一句点
[mayMAY]        对包含 m a y大写或小写字母的行
^USER$          对只包含USER的行
[tty]$          对以tty结尾的行
\.              对带句点的行
^d..x..x..x     对用户、用户组及其他用户组成员有可执行权限的目录
^[^l]           对排除关联目录的目录列表
[.*0]           对0之前或之后加任意字符
[000*]          对000或更多个
[iI]            对大写或小写I
[iI][nN]        对大写或小写i或n
[^$]            对空行
[^.*$]          对匹配行中任意字符串
^......$        对包括6个字符的行
[a- zA-Z]       对任意单字符
[a-z][a-z]*     对至少一个小写字母
[^0-9\$]        对非数字或美元标识
[^0-0A-Za-z]    对非数字或字母
[123]           对1到3中一个数字
[Dd]evice       对单词device或Device
De..ce          对前两个字母为 D e,后跟两个任意字符,最后为 ce
\^q             对以^q开始行
^.$             对仅有一个字符的行
^\.[0-9][0-9]   对以一个句点和两个数字开始的行
'"Device"'      对单词device
De[Vv]ice\.     对单词Device或device
[0-9]\{2\}-[0-9]\{2\}-[0-9]\{4\} 对日期格式dd-mm-yyyy
[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\} 对IP地址格式nnn. nnn.nnn.nnn
[^.*$]          对匹配任意行

第8章 grep家族
1. grep一般格式为:
   grep [选项]基本正则表达式 [文件]
  注意：（1）在grep命令中输入字符串参数时,最好将其用双引号括起来。例如:"mystring" 。这样做
  有两个原因,一是以防被误解为shell命令,二是可以用来查找多个单词组成的字符串
        在调用变量时,也应该使用双引号,诸如: grep“$MYVAR”文件名,如果不这样,没有返回结果。
        (2)在调用模式匹配时,应使用单引号
2.
常用的grep选项有:
-c 只输出匹配行的计数。
-i 不区分大小写(只适用于单字符)。
-h 查询多文件时不显示文件名。
-l 查询多文件时只输出包含匹配字符的文件名。
-n 显示匹配行及行号。
-s 不显示不存在或无匹配文本的错误信息。
-v 显示不包含匹配文本的所有行。
-E 允许使用扩展模式匹配
3. 查询多个文件：grep "sort it" *
4. 精确匹配是在字符串后加\>, 如：grep "48\>" data.f
5. 在grep中使用正则表达式：
    使用正则表达式时最好用单引号括起来,这样可以防止grep中使用的专有模式与一些shell命令的特殊方式相混淆。
6 类名
  [[:upper:]]
  [[:lower:]]
  [[:digit:]]
  [[:alpha:]]
  [[:alnum:]]
  [[:space:]]

第9章 awk介绍
1. awk 使用方式
   awk [-F field-separator] 'command' inputfiles
   -F 指定分隔符
2. awk 执行方法
   awk是每次执行一行，对一行的每个域进行处理，处理完后再去执行下一行

3. awk中使用条件操作符
  为使一域号匹配正则表达式,使用符号‘~’后紧跟正则表达式,也可以if语句。 awk中if后面的条件用()括起来。
4. awk内置变量
  ARGC   命令行参数个数
  ARGV   命令行参数排列
  ENVIRON   支持队列中系统环境变量的使用
  FILENAME  awk浏览的文件名
  FNR    浏览文件的记录数
  FS     设置输入域分隔符,等价于命令行 -F选项
  NF     浏览记录的域个数
  NR     已读的记录数
  OFS    输出域分隔符
  ORS    输出记录分隔符
  RS     控制记录分隔符
5.awk内置字符串函数
  gsub(r,s)  在整个$0中用s替代r
  gsub(r,s,t)  在整个t中用s替代r
  index(s,t)  返回s中字符串t的第一位置
  length(s)   返回s长度
  match(s,r)  测试s是否包含匹配 r的字符串
  split(s,a,fs)  在fs上将s分成序列a
  sprint(fmt,exp) 返回经fmt格式化后的 exp
  sub(r,s)  用$0中最左边最长的子串代替 s
  substr(s,p) 返回字符串 s中从p开始的后缀部分
  substr(s,p,n) 返回字符串 s中从p开始长度为 n的后缀部分
6. 在awk中使用printf
7. 书写awk脚本
   第一行#!/bin/awk -f

2011年8月24日  21时03分35秒
第10章 sed用法介绍
1. sed匹配方式
   行号(范围)和模式匹配
2. 创建sed脚本文件
  (1) 利用脚本文件,及a\命令往文件中添加文本
   如:
  #!/bin/sed -f
  $ a\
  fasfasd\
  fasdf
  再最后一行添加文本
(2) i\命令是插入文本,与a\类似
(3) c\替换命令,不过这儿可以指定所要替换行的范围
3. sed命令
   p   打印匹配行
   =   显示文件行号
   d   删除定位行
   s   使用替换模式替换相应模式
   r   从另一个文件中读文本
   w   写文本到一个文件
   q   第一个模式匹配完成后推出或立即推出
   l   显示与八进制 ASCII代码等价的控制字符
   {}  在定位行执行的命令组
   n   从另一个文件中读文本下一行,并附加在下一行
   g   将模式2粘贴到/pattern n/
   y   传送字符
   n   延续到下一输入行;允许跨行的模式匹配语句
4. 替换文本命令
  格式为:
  [address[,address]]s/pattern-to-find/replacement-pattern/[g p w n]
  g 缺省情况下只替换第一次出现模式,使用 g选项替换全局所有出现模式。
  p  缺省sed将所有被替换行写入标准输出,加 p选项将使 - n选项无效。 - n选项不打印输 结果。
  w 文件名 使用此选项将输出定向到一个文件。
5. 使用系统sed命令
(1)处理控制字符
使用sed实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符。


sed中在某个字符串前或后添加字符串使用&命令
sed 's/Mr/& Bruce /g' 在Mr之后添加Bruce
5. 使用系统sed命令
(1)处理控制字符
使用sed实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符。


sed中在某个字符串前或后添加字符串使用&命令
sed 's/Mr/& Bruce /g' 在Mr之后添加Bruce
5. 使用系统sed命令
(1)处理控制字符
使用sed实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符。


sed中在某个字符串前或后添加字符串使用&命令
sed 's/Mr/& Bruce /g' 在Mr之后添加Bruce
5. 使用系统sed命令
(1)处理控制字符
使用sed实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符。


sed中在某个字符串前或后添加字符串使用&命令
sed 's/Mr/& Bruce /g' 在Mr之后添加Bruce
5. 使用系统sed命令
(1)处理控制字符
使用sed实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符。


sed中在某个字符串前或后添加字符串使用&命令
sed 's/Mr/& Bruce /g' 在Mr之后添加Bruce
sed 's/Mr/Bruce &/g' 在Mr之前添加Bruce