爬虫开始

爬虫程序写了一段时间了，不进行记录容易忘记，现在就有点模糊了。用了才去学，用过了就忘了。

用python语言写的爬虫，基于scrapy框架，部署在了scrapyd服务器中，设置了linux定时执行。

爬取了开放的信息、并解析出想要获取的信息。尝试成功了登录后爬取，没有尝试成功使用动态ip代理实例。

爬取海投网的时候频率过高被警告了，以后需要注意请求频率。