基于python的爬虫---自顶向下的设计思想

近几年python因其精炼的结构，简单的语法，强大的库支持，科学计算等优势迅速走红！

亲自编写一个爬虫应该是检验你所学python基础的一个好工具吧！今天，我把我所学习的知识总结一下，和大家分享！欢迎大家指正。

这个爬虫是爬取一些不需要登陆的网站的数据，当需要爬去登陆的网站需要学习cookie，ajax等技术，这里不做介绍

给定一个网址url，指定要爬去的内容，分析出其中的url，分析出其中的数据，爬出来的数据保存格式，这是爬虫的基本任务，这里采用自顶向下的设计方式，

首先指定要爬去的网址

root_rul="http://*******************"

首先你的实例化你的主类，并调用其开始爬去的方法

obj_spider=SpiderMain()obj_spider.crew(root_rul)

根据分析，你的爬去顺序是首先将root_rul添加至url管理器中，随后需要从url管理器取得一个待爬去的url，并将此url对应的网页下载出来，随后将此页解析出新的url和文本解析，随后将解析出的url保存至待爬去的url管理器集合中，最后输出解析好的内容。这就是一个简单爬虫的流程

根据如上所示我们需要建立几个类，

url_manager、html_downloader、html_parser、html_outputer

所以主类就可以写为如下所示：

from baike_spider import html_downloader, url_manager, html_parser,\    html_outputerclass SpiderMain(object):    def __init__(self):        self.urls = url_manager.UrlManager()        self.downloader = html_downloader.HtmlDownloader()        self.parser=html_parser.HtmlPaser()        self.outputer=html_outputer.HtmlOutputer()        def crew(self, root_rul):        count = 1        self.urls.add_new_url(root_rul)        while self.urls.has_new_url():            try:                new_url=self.urls.get_new_url()                html_cont=self.downloader.download(new_url)                new_urls , new_data = self.parser.parser(new_url , html_cont)                self.urls.add_new_urls(new_urls)                self.outputer.collect_data(new_data)                print count                if count ==100:                    break                count +=1            except:                print 'crew filed'        self.outputer.outputhtml()

有一个爬去方法

随后，我们开始实现上述的几个类及其方法

class UrlManager(object):        def add_new_url(self,url):        def add_new_urls(self,urls):    def has_new_url(self):    def get_new_url(self): 

downloader类

import urllib2class HtmlDownloader(object):            def download(self,url):

parser类

from bs4 import BeautifulSoupimport reimport urlparseclass HtmlPaser(object):     def parser(self ,page_url , html_cont):        

outputer类

class HtmlOutputer(object):

    def outputhtml(self):

    def collect_data(self , data):

这就将这个框架定义好了，接下来我们就需要根据需求编写实际代码了

从顶部开始，逐步细化，逐步实现你的需求，这就是你一种设计方式，

ur_manager需要这么几个方法：

添加url

def add_new_url(self,url):        if url is None:            return         if url not in self.new_urls and url not in self.old_urls :            self.new_urls.add(url)

添加解析出来的大量url

def add_new_urls(self,urls):        if urls is None or len(urls)==0:            return         for url in urls:            self.new_urls.add(url)

判断是否有url

def has_new_url(self):        return len(self.new_urls) !=0

获取一个url

    def get_new_url(self):        new_url=self.new_urls.pop()        if new_url not in self.old_urls:            self.old_urls.add(new_url)            return new_url

downloader类需要实现将指定的页面下载下来：

 def download(self,url):        if url is None :            return None                        response = urllib2.urlopen(url)                if response.getcode()!= 200:            return None                return response.read()    

解析器需要解析出url和需要的内容来

def parser(self ,page_url , html_cont):        if page_url is None or html_cont is None:            return                 soup = BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')        new_urls=self._get_new_urls(page_url,soup)        new_data=self._get_new_data(page_url,soup)        return new_urls,new_data

因此定义了两个方法_get_new_url和_get_new_data

def _get_new_urls(self, page_url, soup):        new_urls=set()        links = soup.find_all('a',href=re.compile('/view/\d+.htm'))        for link in links:            new_url = link['href']            new_full_url = urlparse.urljoin(page_url, new_url)            print new_full_url            new_urls.add(new_full_url)        return new_urls        def _get_new_data(self, page_url, soup):        res_data = {}                res_data['url']=page_url                        #<dd class="lemmaWgt-lemmaTitle-title"><h1>Guido van Rossum</h1>        title_node=soup.find('dd',class_='lemmaWgt-lemmaTitle-title').find('h1')        res_data['title']=title_node.get_text()                        #<div class="lemma-summary" label-module="lemmaSummary">        summary_node = soup.find('div',class_="lemma-summary")        res_data['summary']=summary_node.get_text()                return res_data

outputer需要将解析好的数据输出

def outputhtml(self):        fout = open('output.html','w')                fout.write('<html>')        fout.write('<body>')        fout.write('<table border="1">')                for data in self.datas:            fout.write('<tr>')            fout.write('<td>%s</td>'%data['url'].encode('utf-8'))            fout.write('<td>%s</td>'%data['title'].encode('utf-8'))            fout.write('<td>%s</td>'%data['summary'].encode('utf-8'))            fout.write('</tr>')                fout.write('</table>')        fout.write('</body>')        fout.write('</html>')                        fout.close()