爬虫入门-待续

来源：互联网发布：淘宝客服聊天话术技巧编辑：程序博客网时间：2024/06/05 04:42

毕设需要处理专利的语料库，现学爬虫写了爬虫的脚本：
目的网站：http://www.caship.ac.cn/search/，在网站上键入搜索对象，得到的结构页面如下：
搜索结果
查看其源代码有：

<li class="bottom_right">                   &nbsp;<a href='?guobie=%E4%B8%AD%E5%9B%BD%E4%B8%93%E5%88%A9&w=query&wd=%E6%89%8B%E6%9C%BA&s1=%E6%90%9C+%E7%B4%A2&listtype=&page=1' style='font-weight:900;text-decorationi:none;color:#ff9900' >1</a>&nbsp;|&nbsp;<a href='?guobie=%E4%B8%AD%E5%9B%BD%E4%B8%93%E5%88%A9&w=query&wd=%E6%89%8B%E6%9C%BA&s1=%E6%90%9C+%E7%B4%A2&listtype=&page=2' style='text-decoration:none;color:#fff' >2</a>&nbsp;|&nbsp;<a href='?guobie=%E4%B8%AD%E5%9B%BD%E4%B8%93%E5%88%A9&w=query&wd=%E6%89%8B%E6%9C%BA&s1=%E6%90%9C+%E7%B4%A2&listtype=&page=3' style='text-decoration:none;color:#fff' >3</a>&nbsp;|&nbsp;<a href='?guobie=%E4%B8%AD%E5%9B%BD%E4%B8%93%E5%88%A9&w=query&wd=%E6%89%8B%E6%9C%BA&s1=%E6%90%9C+%E7%B4%A2&listtype=&page=4' style='text-decoration:none;color:#fff' >4</a>&nbsp;|&nbsp;<a href='?guobie=%E4%B8%AD%E5%9B%BD%E4%B8%93%E5%88%A9&w=query&wd=%E6%89%8B%E6%9C%BA&s1=%E6%90%9C+%E7%B4%A2&listtype=&page=5' style='text-decoration:none;color:#fff' >5</a>&nbsp;|&nbsp;<a href='?guobie=%E4%B8%AD%E5%9B%BD%E4%B8%93%E5%88%A9&w=query&wd=%E6%89%8B%E6%9C%BA&s1=%E6%90%9C+%E7%B4%A2&listtype=&page=6' style='text-decoration:none;color:#fff' >6</a>&nbsp;|&nbsp;<a href='?guobie=%E4%B8%AD%E5%9B%BD%E4%B8%93%E5%88%A9&w=query&wd=%E6%89%8B%E6%9C%BA&s1=%E6%90%9C+%E7%B4%A2&listtype=&page=7' style='text-decoration:none;color:#fff' >7</a>&nbsp;|&nbsp;<a href='?guobie=%E4%B8%AD%E5%9B%BD%E4%B8%93%E5%88%A9&w=query&wd=%E6%89%8B%E6%9C%BA&s1=%E6%90%9C+%E7%B4%A2&listtype=&page=8' style='text-decoration:none;color:#fff' >8</a>&nbsp;                    </li>    </ul>

注意到page=*最大为8，而结果最多也有8页。
而搜索页面的url如：http://www.caship.ac.cn/search/search/?guobie=%E4%B8%AD%E5%9B%BD%E4%B8%93%E5%88%A9&w=query&wd=%E6%89%8B%E6%9C%BA&s1=%E6%90%9C+%E7%B4%A2&listtype=&page=4

其中page=XX为第几页搜索结果，

0 0