适合新手的Python爬虫小程序

来源：互联网发布：易中天品三国知乎编辑：程序博客网时间：2024/04/29 16:06

介绍：此程序是使用python做的一个爬虫小程序爬取了python百度百科中的部分内容，因为这个demo是根据网站中的静态结构爬取的，所以如果百度百科词条的html结构发生变化需要修改部分内容。词条链接 http://baike.baidu.com/item/Python

逻辑步骤:1.主程序部分，主要初始化程序中需要用到的各个模块分为(1)链接管理模块。 (2)链接下载保存模块 (3)解析网页模块 (4)输出解析内容模块，然后就是写抓取网页内容的方法。

下边为爬取方法代码：

def craw(self, root_url):  #抓取网页        count = 1        self.urls.add_new_url(root_url)        while self.urls.has_new_url():  #判断是否有新的网页抓取            try:                new_url = self.urls.get_new_url() #获取新的url                print "craw %d : %s"%(count,new_url)                html_cont = self.downloader.download(new_url)#获取新网页的链接                new_urls,new_data=self.parser.parse(new_url,html_cont)  #解析网址和网址内容                self.urls.add_new_urls(new_urls) #url放入管理器                self.outputer.collect_data(new_data) #网页数据收集                if count == 30:                    break                count +=1            except:                print 'craw failed'        self.outputer.output_html()

2.链接管理模块 中实现四个方法a.向存储链接的表中添加需要爬取的新的链接add_new_url b. 批量添加新链接 add_new_urls c.判断链接表中是否有待爬取的新链接has_new_url d.取一个待爬取的新链接并将这个链接从链接表中移除（防止重复爬取相同内容）get_new_url

部分代码：

def add_new_url(self,url):   #添加一个新的url        if url is None:            return        if url not in self.new_urls and url not in self.old_urls:            self.new_urls.add(url)        def add_new_urls(self,urls):   #批量添加url        if urls is None or len(urls) == 0:            return        for url in urls:            self.add_new_url(url)    def has_new_url(self):  #判断是否有新的待取的url        return len(self.new_urls) !=0        def get_new_url(self):   #取一个待爬取的url        new_url = self.new_urls.pop() #取一个url并将其移除        self.old_urls.add(new_url)        return new_url

3.链接下载模块

使用urllib2进行需要爬取的链接的下载（文末附上urllib2开发文档链接）

 def download(self,url):  #使用urllib2获取网页链接        if url is None:            return None        response = urllib2.urlopen(url)                if response.getcode()!=200: #判断请求是否成功            return None        return response.read()

4.网页解析模块

网页解析使用beautifulsoup4库进行操作（文末附上beautifulsoup4开发文档链接）

def _get_new_urls(self, page_url, soup):  #获取新的网址        new_urls = set()        links = soup.find_all('a',href= re.compile(r'/item/'))        for link in links:            new_url = link['href']           #因为词条网址分成了两段所以这里需要将其拼接            new_full_url = urlparse.urljoin(page_url,new_url)            new_urls.add(new_full_url)   #将完整网址添加到网址列表中        return new_urls        def _get_new_data(self, page_url, soup): #获取新的网址中内容        res_data = {}                #url        res_data['url']=page_url                #<dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1>              title_node = soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")        res_data['title']=title_node.get_text()                #<div class="lemma-summary"         summary_node = soup.find('div',class_="lemma-summary")        res_data['summary']=summary_node.get_text()                return res_data

5.输出内容

将爬取的内容以html形式保存在本地（代码成功运行后再工程project下刷新会有一个html文件）

def output_html(self):             fout = open('output.html','w')        fout.write("<html><meta charset=\"utf-8\" />")        fout.write("<body>")        fout.write("<table>")                        #ascii        for data in self.datas:            fout.write("<tr>")            #fout.write("<td>%s</td>" % data['url'])            fout.write("<td>%s</td>" % data['title'])            fout.write("<td>%s</td>" % data['summary'])            fout.write("</tr>")                        fout.write("</table>")        fout.write("</body>")        fout.write("</html>")                fout.close()

PS：urllib2开发文档：https://docs.python.org/2/howto/urllib2.html

beautifulsoup4开发文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/点击打开链接

教程视频连接：http://www.imooc.com/learn/563

demo项目：csdn下载频道http://download.csdn.net/detail/th226/9914405

阅读全文

0 0