python开发简单爬虫:实战篇
来源:互联网 发布:网易博客发帖软件 编辑:程序博客网 时间:2024/05/22 10:25
python开发简单爬虫:实战篇
1. 分析目标
本次实战篇的目的是抓取百度百科python词条页面的标题和简介以及与之相关联的词条页面的标题和简介。
- 目标:百度百科python词条以及相关词条网页的标题和简介
- 入口页:百度百科python词条页:http://baike.baidu.com/view/21087.htm
- url格式:
- 词条页面url:
/view/123.htm
- 词条页面url:
- 数据格式:
- 标题:
<dd class="lemmaWgt-lemmaTitle-title"><h1>******</h1></dd>
- 简介:
<div class="lemma-summary" label-module="lemmaSummary">******</div>
- 标题:
- 页面编码:UTF-8
2.URL管理器
代码如下:
# coding:utf8class UrlManager(object): def __init__(self): # 初始化待爬取url集合和已爬取url集合 self.new_urls = set() self.old_urls = set() # 添加一个新的url到new_urls def add_new_url(self, url): if url is None: return if url not in self.new_urls and url not in self.old_urls: self.new_urls.add(url) # 获取一个待爬取的url,并将此url添加到old_urls def get_new_url(self): new_url = self.new_urls.pop() self.old_urls.add(new_url) return new_url # 判断是否还有待爬取的url def has_new_url(self): return len(self.new_urls) != 0 # 添加多个url到new_urls def add_new_urls(self, urls): if urls is None or len(urls) == 0: return for url in urls: self.add_new_url(url)
3. 网页下载器
代码如下:
# coding:utf8import urllib2class HtmlDownloader(object): # 使用urllib2最简单的方法下载url页面内容 def download(self, url): if url is None: return None resp = urllib2.urlopen(url) if resp.getcode() != 200: return None return resp.read()
4. 网页解析器
代码如下:
# coding:utf8import reimport urlparsefrom bs4 import BeautifulSoupclass HtmlParser(object): # 得到页面相关的url def _get_new_urls(self, page_url, soup): new_urls = set() # /view/123.htm links = soup.find_all('a', href=re.compile(r'/view/\d+\.htm')) for link in links: new_url = link['href'] # 将/view/123.htm补充完整:http://baike.baidu.com/view/123.htm new_full_url = urlparse.urljoin(page_url, new_url) # 将解析到的unicode编码的网址转化为utf-8格式 new_urls.add(new_full_url.encode('utf-8')) return new_urls # 得到页面标题和简介 def _get_new_data(self, page_url, soup): res_data = {} # url res_data['url'] = page_url # 得到标题节点 # <dd class="lemmaWgt-lemmaTitle-title"> <h1 >Python</h1> title_node = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1') res_data['title'] = title_node.get_text() # 得到简介节点 # <div class="lemma-summary" label-module="lemmaSummary"> summary_node = soup.find('div', class_='lemma-summary') res_data['summary'] = summary_node.get_text() return res_data # 对下载页面内容进行解析 def parse(self, page_url, html_cont): if page_url is None or html_cont is None: return None soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8') new_urls = self._get_new_urls(page_url, soup) new_data = self._get_new_data(page_url, soup) return new_urls, new_data
5. 数据输出器
代码如下:
# coding:utf8class HtmlOutputer(object): def __init__(self): self.datas = [] # 收集数据 def collect_data(self, data): if data is None: return None self.datas.append(data) # 将收集到的数据生成一个HTML页面输出 def output_html(self): fout = open('output.html', 'w') fout.write('<html>') fout.write('<head>') fout.write('<meta charset="UTF-8"></meta>') fout.write('</head>') fout.write('<body>') fout.write('<table>') for data in self.datas: fout.write('<tr>') fout.write('<td>%s</td>' % data['url'].encode('utf-8')) fout.write('<td>%s</td>' % data['title'].encode('utf-8')) fout.write('<td>%s</td>' % data['summary'].encode('utf-8')) fout.write('</tr>') fout.write('</table>') fout.write('</body>') fout.write('</html>') fout.close()
6. 爬虫调度器
# coding:utf8from baike1 import url_manager, html_downloader, html_parser, html_outputerclass SpiderMain(object): def __init__(self): self.urls = url_manager.UrlManager() self.downloader = html_downloader.HtmlDownloader() self.parser = html_parser.HtmlParser() self.outputer = html_outputer.HtmlOutputer() def craw(self, url): count = 1 self.urls.add_new_url(url) while self.urls.has_new_url(): try: new_url = self.urls.get_new_url() print 'craw %d:%s' % (count, new_url) html_cont = self.downloader.download(new_url) new_urls, new_data = self.parser.parse(new_url, html_cont) self.urls.add_new_urls(new_urls) self.outputer.collect_data(new_data) if count == 100: break count += 1 except: print 'craw failed' self.outputer.output_html()if __name__ == "__main__": root_url = 'http://baike.baidu.com/view/21087.htm' obj_spider = SpiderMain() obj_spider.craw(root_url)
程序运行结果截图:
至此,一个非常简单的爬虫已经完成,撒花!
0 0
- python开发简单爬虫:实战篇
- Python开发简单爬虫之实战演练
- Python开发简单爬虫
- python开发简单爬虫
- Python开发简单爬虫
- Python开发简单爬虫
- python 开发简单爬虫
- python开发简单爬虫:准备篇
- Python 爬虫简单实战之CSDN
- python开发简单爬虫笔记
- 2---python开发简单爬虫
- Python大型网络爬虫项目开发实战
- 《Python爬虫开发与项目实战》读书笔记
- Python开发简单爬虫(二)
- Python开发简单爬虫(一)
- Python开发简单爬虫(笔记)
- Python 开发简单爬虫 学习笔记1
- Python开发简单爬虫--学习笔记
- 在UITextField开始加空格
- 【笔试面试】第二波
- 一、大神与二货系列之indexOf(一)
- 23种设计模式
- struts2中如何将json格式的数据传到前端呢??json-default就是你要找的答案
- python开发简单爬虫:实战篇
- java 遍历resultset报错: peration not allowed after ResultSet closed【整理】
- fastdfs分布式文件系统之Storage server介绍
- Centos6.5下配置NFS存储
- 使用 Chef 自动化部署一个 Web 服务器
- 日期组件的实现
- ContentProvider详细介绍(附实例源码)
- leetcode No33. Search in Rotated Sorted Array
- nodejs webSocket 压测工具