shell中逐行处理文件的一些方法

简介

在shell中处理文本，提取出需要的信息是很平常的任务，本文将简单的介绍一下文件描述符的概念，然后再列举一些逐行处理文件的方法。

文件描述符

在UNIX操作系统中，文件是通过被称为文件描述符的特定数字来引用、复制、移动等操作的。从进程的角度来看，一个文件描述符代表了一个进程打开的一个文件，通过该文件描述符，你就可以对相应的文件进行操作。默认情况下，操作系统在创建一个进程至少会为它打开三个文件描述符，它们分别是：0 - stdin、1 - stdout、2 - stderr，它们所代表的含义分别是：标准输入、标准输出和标准错误。标准输入通常来自键盘和鼠标，标准输出通常输出到屏幕或文件，标准错误则是命令、程序、脚本等输出错误信息的地方，通常是输出到屏幕。

 

在shell中提供了很多的方法来让各个命令协同合作，这些方法包括管道、文件的重定向等，通过这些方法能够很容易的将一条命令的输出重定位到另一个命令的输入，这使得各个命令能够很容易的协同合作，从而形成强大的处理能力。在shell脚本中，经常会遇到“|”、“<”、“>”、“>>”等符号，这些符号所代表的含义分别是： 创建一个管道用来连接前一条命令的输出和后一条命令的输入、输入文件重定位、输出文件重定位及添加到文件末尾。

逐行处理文件的方法

下面列举一些高效的逐行处理文件的方法，这些方法按照速度由快到慢的顺序排列的。

function while_read_LINE_bottom_FD_OUT{ # zero out the $OUTFILE >$OUTFILE # Associate standard output with file descriptor 4 # and redirect standard output to $OUTFILE exec 4<&1 exec 1> $OUTFILE while read LINE do echo "$LINE" : done < $INFILE # Restore standard output and close file descritpor 4 exec 1<&4 exec 4>&-}function while_read_LINE_FD_IN_AND_OUT{ # zero out the $OUTFILE >$OUTFILE # Associate standard input with file descriptor 3 # and redirect standard input to $INFILE exec 3<&0 exec 0> $INFILE # Associate standard output with file descriptor 4 # and redirect standard output to $OUTFILE exec 4<&1 exec 1> $OUTFILE while read LINE do echo "$LINE" : done # Restore standard output and close file descritpor 4 exec 1<&4 exec 4>&- # Restore standard input and close file descritpor 3 exec 0<&3 exec 3>&-}function for_LINE_cat_FILE_cmdsub2_FD_OUT{ # zero out the $OUTFILE >$OUTFILE # Associate standard output with file descriptor 4 # and redirect standard output to $OUTFILE exec 4<&1 exec 1> $OUTFILE for LINE in $(cat $INFILE) do echo "$LINE" : done # Restore standard output and close file descritpor 4 exec 1<&4 exec 4>&-}function for_LINE_cat_FILE_FD_OUT{ # zero out the $OUTFILE >$OUTFILE # Associate standard output with file descriptor 4 # and redirect standard output to $OUTFILE exec 4<&1 exec 1> $OUTFILE for LINE in `cat $INFILE` do echo "$LINE" : done # Restore standard output and close file descritpor 4 exec 1<&4 exec 4>&-}function while_read_LINE_bottom{ # zeor out the $OUTFILE >$OUTFILE while read LINE do echo "$LINE" >> $OUTFILE : done}function for_LINE_cat_FILE_cmdsub2{ # zero out the $OUTFILE >$OUTFILE for LINE in $(cat $INFILE) do echo "$LINE" >> $OUTFILE : done}function for_LINE_cat_FILE{ # zero out the $OUTFILE >$OUTFILE for LINE in `cat $INFILE` do echo "$LINE" >> $OUTFILE : done} 

 

小结：shell中提供了很丰富的文件处理方法和命令，以上只是一个很简单的介绍，作为一个学习笔记，方便以后查阅。