php脚本的一些注意事项

来源:互联网 发布:mac设置桌面应用 编辑:程序博客网 时间:2024/05/17 07:12

1.超过百万级的文本最好切割为以10万为单位的文本分配,多个进程运行。

2.最好以守护进程运行,即在脚本后加上&,后台会一直运行该进程,但是不能关闭终端,一旦关闭终端,该进程也会挂掉。

3.以nohup命令运行脚本,可以一直在后台运行。



附:脚本处理中常用的分割,合并文本命令

split命令
语法:komy@komy-vmware:~$ split [-bl] 输入文件 输出文件
参数说明
-b :以文件大小来分
-l:以行数来分

例1:
[root@centos1101 sh]# split -l 100 test.txt out
就是把test.txt每100行输出一个文件outaa,outab,outcd以此类推。。。实现了文本文件的分割。

例2:
[root@centos1101 sh]# split -b 100k test.txt out
就是把test.txt每100KB输出一个文件outaa,outab,outcd以此类推。

另外,cat 命令可将这些分割后的文件合并为一个文件,并重定向到“largefile”文件中(largefile为自定的文件名)。
[root@centos1101 sh]# cat out* > largeflie

一般处理脚本会涉及去重,命令sort -u 

0 0
原创粉丝点击