shell编写图片抓取器

来源:互联网 发布:淘宝怎么添加花呗支付 编辑:程序博客网 时间:2024/05/16 08:21
最近在看《Linux Shell脚本攻略》一书,书中有个图片抓取器的script,抓取出来记录一下。
适用范围:适合抓取html里符合img标签正则规则的图片。
#!/bin/bashif [ $# -ne 3 ]then echo "Usage: $0 URL -d DIRECTORY" exit -1fifor i in {1..4}do case $1 in -d) shift; directory=$1; shift;;    *) url=${url:-$1};shift;esacdonemkdir -p $directorybaseurl=$(echo $url | egrep -o "https?://[a-z.]+")echo "$baseurl"curl -s $url | egrep -o "<img src=[^>]*>" | sed 's/<img src=\"\([^"]*\).*/\1/g'  > /tmp/$$.listsed -i "s|^/|$baseurl/|" /tmp/$$.listcd $directory;while read filenamedo    echo $filename curl -s -O "$filename" --silentdone < /tmp/$$.list

运行方式:sh ceshi.sh url -d images (cehi.sh为shell script)

0 0