shell十三问之十一

 

11) >; 与 < 差在哪？

 

 

这次的题目之前我在 CU 的 shell 版已说明过了：
http://bbs.chinaunix.net/forum/24/20031030/191375.html
这次我就不重写了，将贴子的内容"抄"下来就是了...

--------------
11.1
谈到 I/Oredirection ，不妨先让我们认识一下File Descriptor (FD) 。

程序的运算，在大部份情况下都是进行数据(data)的处理，
这些数据从哪读进？又，送出到哪里呢？
这就是 filedescriptor (FD) 的功用了。

在 shell 程序中，最常使用的 FD 大概有三个，分别为：
0: Standard Input (STDIN)
1: Standard Output (STDOUT)
2: Standard Error Output (STDERR)

在标准情况下，这些 FD 分别跟如下设备(device)关联：
stdin(0): keyboard
stdout(1): monitor
stderr(2): monitor

我们可以用如下下命令测试一下：


CODE:[Copy to clipboard]$ mail -s test root
this is a test mail.
please skip.
^d (同时按 crtl 跟 d 键)
很明显，mail 程序所读进的数据，就是从 stdin 也就是 keyboard 读进的。
不过，不见得每个程序的stdin 都跟 mail 一样从 keyboard 读进，
因为程序作者可以从档案参数读进 stdin ，如：


CODE:[Copy to clipboard]$ cat /etc/passwd
但，要是 cat 之后没有档案参数则又如何呢？
哦，请您自己玩玩看啰....^_^


CODE:[Copy to clipboard]$ cat
(请留意数据输出到哪里去了，最后别忘了按 ^d 离开...)

至于 stdout 与 stderr ，嗯... 等我有空再续吧... ^_^
还是，有哪位前辈要来玩接龙呢？

----------------------------------------------------------------------------------------------------------------------------------
11) >; 与 < 差在哪？

这次的题目之前我在 CU 的 shell 版已说明过了：
http://bbs.chinaunix.net/forum/24/20031030/191375.html
这次我就不重写了，将贴子的内容"抄"下来就是了...

--------------
11.1
谈到 I/Oredirection ，不妨先让我们认识一下File Descriptor (FD) 。

程序的运算，在大部份情况下都是进行数据(data)的处理，
这些数据从哪读进？又，送出到哪里呢？
这就是 filedescriptor (FD) 的功用了。

在 shell 程序中，最常使用的 FD 大概有三个，分别为：
0: Standard Input (STDIN)
1: Standard Output (STDOUT)
2: Standard Error Output (STDERR)

在标准情况下，这些 FD 分别跟如下设备(device)关联：
stdin(0): keyboard
stdout(1): monitor
stderr(2): monitor

我们可以用如下下命令测试一下：


CODE:[Copy to clipboard]$ mail -s test root
this is a test mail.
please skip.
^d (同时按 crtl 跟 d 键)
很明显，mail 程序所读进的数据，就是从 stdin 也就是 keyboard 读进的。
不过，不见得每个程序的stdin 都跟 mail 一样从 keyboard 读进，
因为程序作者可以从档案参数读进 stdin ，如：


CODE:[Copy to clipboard]$ cat /etc/passwd
但，要是 cat 之后没有档案参数则又如何呢？
哦，请您自己玩玩看啰....^_^


CODE:[Copy to clipboard]$ cat
(请留意数据输出到哪里去了，最后别忘了按 ^d 离开...)

至于 stdout 与 stderr ，嗯... 等我有空再续吧... ^_^
还是，有哪位前辈要来玩接龙呢？

--------------
11.2
沿文再续，书接上一回...^_^

相信，经过上一个练习后，你对stdin 与 stdout 应该不难理解吧？
然后，让我们继续看 stderr好了。
事实上，stderr 没甚么难理解的：说穿了就是"错误信息"要往哪边送而已...
比方说，若读进的档案参数是不存在的，那我们在 monitor 上就看到了：


CODE:[Copy to clipboard]$ ls no.such.file
ls: no.such.file: No such file or directory
若，一个命令同时产生stdout 与 stderr 呢？
那还不简单，都送到monitor 来就好了：


CODE:[Copy to clipboard]$ touch my.file
$ ls my.file no.such.file
ls: no.such.file: No such file or directory
my.file
okay，至此，关于 FD 及其名称、还有相关联的设备，相信你已经没问题了吧？
那好，接下来让我们看看如何改变这些 FD 的预设数据信道，
我们可用 < 来改变读进的数据信道(stdin)，使之从指定的档案读进。
我们可用 >; 来改变送出的数据信道(stdout, stderr)，使之输出到指定的档案。

比方说：


CODE:[Copy to clipboard]$ cat < my.file
就是从 my.file 读进数据


CODE:[Copy to clipboard]$ mail -s test root < /etc/passwd
则是从/etc/passwd 读进...
这样一来，stdin 将不再是从 keyboard 读进，而是从档案读进了...
严格来说，< 符号之前需要指定一个 FD 的(之间不能有空白)，
但因为 0 是 < 的默认值，因此 < 与 0< 是一样的﹗

okay，这个好理解吧？
那，要是用两个<< 又是啥呢？
这是所谓的 HEREDocument ，它可以让我们输入一段文本，直到读到 << 后指定的字符串。
比方说：


CODE:[Copy to clipboard]$ cat <<FINISH
first line here
second line there
third line nowhere
FINISH
这样的话，cat 会读进 3 行句子，而无需从 keyboard 读进数据且要等 ^d 结束输入。

至于 >; 又如何呢？
且听下回分解....

--------------
11.3
okay，又到讲古时间~~~

当你搞懂了 0< 原来就是改变 stdin 的数据输入信道之后，相信要理解如下两个 redirection 就不难了：
* 1>;
* 2>;
前者是改变 stdout 的数据输出信道，后者是改变 stderr 的数据输出信道。
两者都是将原本要送出到monitor 的数据转向输出到指定档案去。
由于 1 是 >; 的默认值，因此，1>; 与 >; 是相同的，都是改 stdout 。

用上次的 ls 例子来说明一下好了：


CODE:[Copy to clipboard]$ ls my.file no.such.file 1>;file.out
ls: no.such.file: No such file or directory
这样 monitor 就只剩下 stderr 而已。因为 stdout 给写进 file.out 去了。


CODE:[Copy to clipboard]$ ls my.file no.such.file 2>;file.err
my.file
这样 monitor 就只剩下 stdout ，因为 stderr 写进了 file.err 。


CODE:[Copy to clipboard]$ ls my.file no.such.file 1>;file.out 2>;file.err
这样 monitor 就啥也没有，因为 stdout 与 stderr 都给转到档案去了...

呵~~~ 看来要理解 >; 一点也不难啦﹗是不？没骗你吧？ ^_^
不过，有些地方还是要注意一下的。
首先，是 filelocking 的问题。比方如下这个例子：


CODE:[Copy to clipboard]$ ls my.file no.such.file 1>;file.both2>;file.both
从 file system 的角度来说，单一档案在单一时间内，只能被单一的 FD 作写入。
假如 stdout(1) 与 stderr(2) 都同时在写入 file.both 的话，
则要看它们在写入时否碰到同时竞争的情形了，基本上是"先抢先赢"的原则。
让我们用周星驰式的"慢镜头"来看一下 stdout 与 stderr 同时写入 file.out 的情形好了：
* 第 1, 2, 3 秒为 stdout 写入
* 第 3, 4, 5 秒为 stderr 写入
那么，这时候 stderr 的第 3 秒所写的数据就丢失掉了﹗
要是我们能控制 stderr必须等 stdout 写完再写，或倒过来，stdout 等 stderr 写完再写，那问题就能解决。
但从技术上，较难掌控的，尤其是 FD 在作"长期性"的写入时...

那，如何解决呢？所谓山不转路转、路不转人转嘛，
我们可以换一个思维：将stderr 导进 stdout 或将 stdout 导进 sterr ，而不是大家在抢同一份档案，不就行了﹗
bingo﹗就是这样啦：
* 2>;&1 就是将 stderr 并进 stdout 作输出
* 1>;&2 或 >;&2 就是将 stdout 并进 stderr 作输出
于是，前面的错误操作可以改为：


CODE:[Copy to clipboard]$ ls my.file no.such.file 1>;file.both 2>;&1
或
$ ls my.file no.such.file 2>;file.both >;&2
这样，不就皆大欢喜了吗？ 呵~~~ ^_^

不过，光解决了locking 的问题还不够，我们还有其它技巧需要了解的。
故事还没结束，别走开﹗广告后，我们再回来...﹗


--------------
11.4
okay，这次不讲 I/ORedirction ，讲佛吧...
(有没搞错？﹗网中人是否头壳烧坏了？...) 嘻~~~ ^_^

学佛的最高境界，就是"四大皆空"。至于是空哪四大块？我也不知，因为我还没到那境界...
但这个"空"字，却非常值得我们返复把玩的：
--- 色即是空、空即是色﹗
好了，施主要是能够领会"空"的禅意，那离修成正果不远矣~~~

在 linux 档案系统里，有个设备档位于 /dev/null 。
许多人都问过我那是甚么玩意儿？我跟你说好了：那就是"空"啦﹗
没错﹗空空如也的空就是null 了.... 请问施主是否忽然有所顿误了呢？然则恭喜了~~~ ^_^

这个 null 在 I/O Redirection 中可有用得很呢：
* 若将 FD1 跟 FD2 转到 /dev/null 去，就可将 stdout 与 stderr 弄不见掉。
* 若将 FD0 接到 /dev/null 来，那就是读进 nothing 。
比方说，当我们在执行一个程序时，画面会同时送出 stdout 跟 stderr ，
假如你不想看到 stderr(也不想存到档案去)，那可以：


CODE:[Copy to clipboard]$ ls my.file no.such.file 2>;/dev/null
my.file
若要相反：只想看到stderr 呢？还不简单﹗将stdout 弄到 null 就行：


CODE:[Copy to clipboard]$ ls my.file no.such.file >;/dev/null
ls: no.such.file: No such file or directory
那接下来，假如单纯只跑程序，不想看到任何输出结果呢？
哦，这里留了一手上次节目没讲的法子，专门赠予有缘人﹗... ^_^
除了用>;/dev/null 2>;&1 之外，你还可以如此：


CODE:[Copy to clipboard]$ ls my.file no.such.file &>;/dev/null
(提示：将&>; 换成 >;& 也行啦~~! )

okay？讲完佛，接下来，再让我们看看如下情况：


CODE:[Copy to clipboard]$ echo "1" >; file.out
$ cat file.out
1
$ echo "2" >; file.out
$ cat file.out
2
看来，我们在重导stdout 或 stderr 进一份档案时，似乎永远只获得最后一次导入的结果。
那，之前的内容呢？
呵~~~ 要解决这个问提很简单啦，将 >; 换成 >;>; 就好：


CODE:[Copy to clipboard]$ echo "3" >;>; file.out
$ cat file.out
2
3
如此一来，被重导的目标档案之内容并不会失去，而新的内容则一直增加在最后面去。
easy ？ 呵 ... ^_^

但，只要你再一次用回单一的>; 来重导的话，那么，旧的内容还是会被"洗"掉的﹗
这时，你要如何避免呢？
----备份﹗ yes ，我听到了﹗不过.... 还有更好的吗？
既然与施主这么有缘份，老纳就送你一个锦囊妙法吧：


CODE:[Copy to clipboard]$ set -o noclobber
$ echo "4" >; file.out
-bash: file: cannot overwrite existing file
那，要如何取消这个"限制"呢？
哦，将 set -o 换成 set +o 就行：


CODE:[Copy to clipboard]$ set +o noclobber
$ echo "5" >; file.out
$ cat file.out
5
再问：那... 有办法不取消而又"临时"盖写目标档案吗？
哦，佛曰：不可告也﹗
啊~~~ 开玩笑的、开玩笑的啦~~~ ^_^ 唉，早就料到人心是不足的了﹗


CODE:[Copy to clipboard]$ set -o noclobber
$ echo "6" >;| file.out
$ cat file.out
6
留意到没有：在 >; 后面再加个" | "就好(注意： >; 与 | 之间不能有空白哦)....

呼.... (深呼吸吐纳一下吧)~~~ ^_^
再来还有一个难题要你去参透的呢：


CODE:[Copy to clipboard]$ echo "some text here" >; file
$ cat < file
some text here
$ cat < file >; file.bak
$ cat < file.bak
some text here
$ cat < file >; file
$ cat < file
嗯？﹗注意到没有？﹗﹗
---- 怎么最后那个 cat 命令看到的 file 竟是空的？﹗
why? why? why?

同学们：下节课不要迟到啰~~~!


--------------
11.5
当当当~~~ 上课啰~~~ ^_^

前面提到：$ cat< file >; file 之后原本有内容的档案结果却被洗掉了﹗
要理解这一现像其实不难，这只是 priority 的问题而已：
* 在 IORedirection 中，stdout 与 stderr 的管道会先准备好，才会从 stdin 读进资料。
也就是说，在上例中，>;file 会先将 file 清空，然后才读进 < file ，
但这时候档案已经被清空了，因此就变成读不进任何数据了...

哦~~~ 原来如此~~~~ ^_^
那... 如下两例又如何呢？


CODE:[Copy to clipboard]$ cat <>; file
$ cat < file >;>; file
嗯... 同学们，这两个答案就当练习题啰，下节课之前请交作业﹗

好了，I/ORedirection 也快讲完了，sorry，因为我也只知道这么多而已啦~~~ 嘻~~ ^_^
不过，还有一样东东是一定要讲的，各位观众(请自行配乐~!#@!$%) ：
---- 就是 pipe line 也﹗

谈到 pipe line ，我相信不少人都不会陌生：
我们在很多 commandline 上常看到的" |"符号就是 pipe line了。
不过，究竟 pipeline 是甚么东东呢？
别急别急... 先查一下英汉字典，看看 pipe 是甚么意思？
没错﹗它就是"水管"的意思...
那么，你能想象一下水管是怎么一根接着一根的吗？
又，每根水管之间的input 跟 output 又如何呢？
嗯？？
灵光一闪：原来 pipeline 的 I/O 跟水管的 I/O 是一模一样的：
* 上一个命令的 stdout 接到下一个命令的 stdin 去了﹗
的确如此... 不管在 command line 上你使用了多少个 pipe line ，
前后两个 command 的 I/O 都是彼此连接的﹗(恭喜：你终于开窍了﹗ ^_^)

不过... 然而... 但是... ... stderr 呢？
好问题﹗不过也容易理解：
* 若水管漏水怎么办？
也就是说：在 pipeline 之间，前一个命令的stderr 是不会接进下一命令的stdin 的，
其输出，若不用 2>;导到 file 去的话，它还是送到监视器上面来﹗
这点请你在 pipeline 运用上务必要注意的。

那，或许你又会问：
* 有办法将 stderr 也喂进下一个命令的 stdin 去吗？
(贪得无厌的家伙﹗)
方法当然是有，而且你早已学过了﹗ ^_^
我提示一下就好：
* 请问你如何将 stderr 合并进 stdout 一同输出呢？
若你答不出来，下课之后再来问我吧... (如果你脸皮真够厚的话...)

或许，你仍意尤未尽﹗或许，你曾经碰到过下面的问题：
* 在 cm1 | cm2 |cm3 ... 这段 pipe line 中，若要将 cm2 的结果存到某一档案呢？

若你写成 cm1 | cm2>; file | cm3 的话，
那你肯定会发现 cm3 的 stdin 是空的﹗(当然啦，你都将水管接到别的水池了﹗)
聪明的你或许会如此解决：


CODE:[Copy to clipboard]cm1 | cm2 >; file ; cm3 < file
是的，你的确可以这样做，但最大的坏处是：这样一来，file I/O 会变双倍﹗
在 command 执行的整个过程中，file I/O 是最常见的最大效能杀手。
凡是有经验的 shell 操作者，都会尽量避免或降低 file I/O 的频率。

那，上面问题还有更好方法吗？
有的，那就是 tee 命令了。
* 所谓 tee 命令是在不影响原本 I/O 的情况下，将 stdout 复制一份到档案去。
因此，上面的命令行可以如此打：


CODE:[Copy to clipboard]cm1 | cm2 | tee file | cm3
在预设上，tee 会改写目标档案，若你要改为增加内容的话，那可用 -a 参数达成。

基本上，pipe line 的应用在 shell 操作上是非常广泛的，尤其是在 text filtering 方面，
凡举 cat, more,head, tail, wc, expand, tr, grep, sed, awk, ... 等等文字处理工具，
搭配起 pipe line 来使用，你会惊觉 command line 原来是活得如此精彩的﹗
常让人有"众里寻他千百度，蓦然回首，那人却在灯火阑珊处﹗"之感... ^_^

....

好了，关于 I/ORedirection 的介绍就到此告一段落。
若日后有空的话，再为大家介绍其它在 shell 上好玩的东西﹗bye... ^_^
-------------------------------------------------------------------------------------------------