网络爬虫思路

主要是针对某个单独的网站进行页面的爬取，方式有好多种，记录一下大体的思路。

方法1：

a、通过http请求获取返回的静态页面。

b、将返回的字符串页面进行split，切割成字符串数组。

c、遍历字符串数组，通过正则筛选所需要的链接。

d、拼接获取到的链接，发送请求获取页面。

实际应用：

遇到过：网站验证码，单位时间内访问次数限制，还有ajax填充数据等问题。ajax post请求还算好解决，但是验证码和访问次数限制感觉很无力，Orz...