shell系列 - 简易爬虫检测google host更新

背景

　　作为一个程序员，google亦师亦友，多年来遇到诸多束手无策的新技术、堆栈异常信息……，他总能给予帮助。

　　之前我尝试了很多办法去访问（goagent、VPN），屡屡用不长久，最后发现还是修改hosts最简单有效。具体做法是公开的我就不赘述了，聊一下我最近写的一个shell来检查host更新，抛砖引玉，与君共勉。

 

程序

1. 行2，获取发布页面的源代码，由于比较长所以只截取标题部分（前500字符），用正则表达式提前最新发布时间。
2. 行3，查看本地host文件更新时间
3. 行6 - 14，比较线上与本地的版本，如果已经更新就打开发布页面。

　　目前，做的比较简单，在mac os终端运行正常。因为提供者把文件放在了云盘中而且有密码，后续再研究下是否能用脚本down下来，并自动更新。

#!/bin/sh
new=$(expr "$(curl http://laod.cn/hosts/2016-google-hosts.html | head -c 500)" : ".*更新于:\(.*\)】.*")
old=$(stat -t "%Y-%m-%d" /etc/hosts | awk '{print $11}' | sed 's/\"//g')
echo 线上host：$new
echo 本地host：$old
if [ "$new"x = "$old"x ];then
        echo '未更新';
else
        echo '已更新';
        read -p "即将打开发布页面，请回车确定或退出……";
        open http://laod.cn/hosts/2016-google-hosts.html;
fi;