Shell多线程操作及线程数控制实例
来源:互联网 发布:数据库事务日志已满 编辑:程序博客网 时间:2024/05/22 16:44
前言
在业务开发过程中,经常会在后台写一些shell脚本处理数据,但估计很多人不知道shell脚本也可以支持多线程,而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。
需求
为了更好的说明问题,我们结合例子讲解,假设需求就是扫描url.txt文件,然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL,如:
http://www.baidu.com
http://www.google.com
http://www.jb51.net
单进程实现
那么shell脚本scanUrl.sh可以这样写:
#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
fi
#循环读出URL并判断状态码
while read line
do
{
}
done < $1
echo "执行结束"
那么可以执行下面的命令扫描:
/bin/sh scanUrl.sh url.txt
但这样脚本执行非常慢,一万个URL几个小时都扫描不完。
多进程实现
改成多进程实现非常简单,只需要在do后面的大括号加 &符号,在done后面加一个wait,表示父进程等待子进程退出后再退出
#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
fi
#循环读出URL并判断状态码
while read line
do
{
}&
done < $1
wait
echo "执行结束"
这样就能多进程并发执行了,但有个问题是进程会一下子非常多,几百上千,超过系统限制报错,下面我们就加上进程数控制。
多进程实现并控制进程数
#!/bin/bash
#允许的进程数
THREAD_NUM=200
#定义描述符为9的管道
mkfifo tmp
exec 9<>tmp
#预先写入指定数量的换行符,一个换行符代表一个进程
for ((i=0;i<$THREAD_NUM;i++))
do
done
if [ $# != 1 ] ;then
fi
while read line
do
{
}
done < $1
wait
echo "执行结束"
rm tmp
上面的代码就可以保证子进程在指定数量了,其进程控制原理是通过管道实现的,当管道无内容可读时就不会执行
{
}&
而且每个进程执行完成后都会向管道写入一个换行符,从而保证进程数是指定的。
附注:
read -u3 i 的意思是从 3 号 fd (file descriptor,文件描述符) 中读一行数据到 i 变量中, 同理你明白 read -u4 j 的意思
而 3
所以,整个代码
while read -u3 i && read -u4 j;do
echo $i $j
done 3的意思是,不断从 afile 和 bfile 中分别读取内容到i , j 中,然后用
echo 打印出来。 这个循环会一直执行直到遇到 afile 或 bfile 中至少任意一个的文件尾。
- Shell多线程操作及线程数控制实例
- Shell多线程操作及线程数控制实例
- Shell多线程操作及线程数控制实例
- Shell多线程操作及线程数控制实例
- Shell脚本中并发线程以及并发数的控制
- 第八章 线程控制及操作(一)
- python 进行多线程编程,使用Semaphore控制线程数
- (java多线程并发)控制并发线程数的Semaphore
- Android之线程池控制并发数多线程下载
- [Python]多线程网址爬虫:控制线程数,爬虫深度
- 23 API-多线程(多线程概述,多线程实现方案,线程控制常见方法,线程安全问题及解决)
- Linux Shell 流程控制语句实例及自定义函数介绍
- Java中多线程线程的控制及常用方法
- 多线程-3-线程控制
- 多线程:控制线程
- java线程及操作实例,线程池简单例子
- 多线程控制实例
- java Executor线程池 中的Callable多线程讲解及实例
- Linux下四款Web服务器压力测试工具…
- 开发思路:php中不使用临时变量来…
- SHELL文件描述符,类2>&1使用
- MAVEN常用命令
- Java ArrayList的实现原理详解
- Shell多线程操作及线程数控制实例
- mysql 批量更新与批量更新多…
- linux awk命令详解--很不错
- Ruby--Kernel#caller方法
- Spring MVC之@RequestBody, @ResponseBody 详解
- PHP 二维数组根据某个字段排序
- 认识与入门 Markdown
- awk中的NR和FNR的区别
- LOFTER8260915018E720181660A45D31…