shell——cat，find，xargs，tr，sort，grep

一．cat

1.cat  file1 file2  file3…

2．使用管道从标准输入中读取：

echo “Hadoop hive!” | cat –file.txt

3．压缩空白行

(1)压缩多个连续空白行为单个

cat  -s file

  (2)移除空白行

                 cat  file.txt | tr -s  ‘\n’

4.cat -T  file；  显示制表符为^

5.cat  -n file;   显示行号

 

二．录制与回放终端回话

  script -t 2> timing.log  -aoutput.sessin

…

  exit

scriptreplay  timing.log output.session

 

三．find

1.沿着文件层次结构往下遍历，匹配符合条件的文件。

2. find . –print;

-print是使用’\n’作为分隔符的定界符，-print0指明使用’\0’作为定界符！

-name指定了文件名所匹配的字符串，-iname则忽略大小写

find  /usr/local -name “*.txt” -print

find  . !  -name “*.txt”  -print;  ！含有否定的意思，不以txt结尾的文件名

find . \(-name “*.txt” –o –name “*.pdf” \)–print

find  /usr/local -path “*.txt”  -print

3.基于目录深度、文件类型的搜索

Find  .  –maxdepth  1–type f -print

Find  .  –mindepth 2 -type f  -print

-type可以对搜索文件过滤

普通文件

f

符号链接

l

目录

d

字符设备

c

块设备

b

套接字

s

Fifo

p

 

4.基于文件时间的搜索

访问时间：-atime  ,-amin

修改时间：-mtime ,-mmin

变化时间:-ctime, -cmin

find  . –type f –atime  +7 –print;打印访问时间超过7天的所有文件

-newer:找出比参考文件更新的（更长的修改时间的）所有文件

find  . –type f  -newer  file.txt -print

5.基于文件大小的搜索

find  . –type f  -size  +2k

6.删除匹配文件

find  .  –type  -f –name “*txt” –delete

7.基于文件权限和所有权的匹配

find  .  –type f  -perm 666 –print

8.找某个特定用户所拥有的文件

find  .  –type f  -user cw -print

9.find 与 –exec{}合用

find  . –type f –name“*.txt” –exec  cp {} /usr/local \;

find . –type f –name”*.pdf” –exec printf”text file: %s\n”{} \;

find . type f –name “*.cpp” –exec cat {} \;>all.out

 

四．xargs

1.xargs擅长将标准输入数据转化为命令行参数

2.将多行输入转换成单行输出

cat  file.txt  | xargs

3.将单行输入转化为多行输出

cat  file.txt | xargs –n 4

4.使用定界符分割参数

echo  “splitXshellXhadoop”| xargs –d X  -n 2

cat  file.txt |xargs  -n 2 ./demo.sh;//将file中的数据以每次2个传递给demo.sh作为参数。

 

五．tr转换命令

1.tr只能通过stdin，而无法通过命令行参数来接受输入

2.将输入字符由大写转为小写

echo “HELLO” | tr  ‘A-Z’  ‘a-z’

echo 1234 | tr ‘0-9’  ‘9876543210’

cat file.txt | tr ‘\n’  ‘’

3.指定要删除的字符集合

cat  file.txt | tr  –d ‘0-9’

4.删除补集-c

echo “hello 1 hive3 hadoop2”| tr –d –c ‘0-9 \n’;

删除集合之外的所有字符

5.tr压缩字符-s

echo “gun is  not    right?” | tr –s ‘ ‘；压缩空格

将文件中的数字相加

Cat  sum.txt

1

2

3

4

cat  sum.txt | echo$[$(tr ‘\n’ ‘+’ ) 0]；尾部多了个+号所有加0.

 

六．sort

1.sort file1.txt  file2.txt > sort.txt

2.sort  -n file.txt;按数字排序

3.sort  -r file.txt;逆序排序

4.sort  -M file.txt;按月份排序

5.sort  -m sort1.txt  sort2.txt;对合并后的文件合并，不再排序

6.sort  -k  2 file.txt;对第二列排序

7.sort  -nrk 1  file.txt;对第一列逆序按数字排序

七. grep

grep用于在文件中搜索指定的字符串

1.      搜索目录下带字符串bin的文件

Grep  bin  *

2.      明确要求搜索子目录;grep  -r

3.      忽略子目录：grep  -d  skip

4.      不区分大小写地搜索：grep  -i pattern  files

5.      只列出匹配的文件名：grep  -l pattern  files

6.      列出不匹配的文件名：grep  -L pattern  files

7.      只匹配整个单词而不是字符串的一部分：grep  -W pattern  files

8.      匹配的上下午分别显示[number]行：grep –C number  pattern  files

9.      显示匹配pattern1或pattern2的行：grep  pattern1 | pattern2  files

10.  显示两者都匹配的行：grep  pattern1  files | grep pattern2

11.  \<和\>分别标注单词的开始和结尾

12.' ^'指匹配字符串在行首，'$'指匹配的字符串在行尾