Python天气预报采集器实现代码(网页爬虫)
来源:互联网 发布:安卓数据存储boolean 编辑:程序博客网 时间:2024/05/22 05:28
爬虫简单说来包括两个步骤:获得网页文本、过滤得到数据。
1、获得html文本。
python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能。
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
这么几行代码相信不用注释都能大概知道它的意思。
2、根据正则表达式等获得需要的内容。
使用正则表达式时需要仔细观察该网页信息的结构,并写出正确的正则表达式。
python正则表达式的使用也很简洁。我的上一篇文章《Python的一些用法》介绍了一点正则的用法。这里需要一个新的用法:
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList
其中reg是正则表达式,html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。
这里的正则表达式reg有两个地方要注意。
一个是“(.*?)”。只要是()中的内容都是我们将要获得的内容,如果有多个括号,那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号,分别对应城市、最低温和最高温。
另一个是“.*?”。python的正则匹配默认是贪婪的,即默认尽可能多地匹配字符串。如果在末尾加上问号,则表示非贪婪模式,即尽可能少地匹配字符串。在这里,由于有多个城市的信息需要匹配,所以需要使用非贪婪模式,否则匹配结果只剩下一个,且是不正确的。
1、获得html文本。
python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能。
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
这么几行代码相信不用注释都能大概知道它的意思。
2、根据正则表达式等获得需要的内容。
使用正则表达式时需要仔细观察该网页信息的结构,并写出正确的正则表达式。
python正则表达式的使用也很简洁。我的上一篇文章《Python的一些用法》介绍了一点正则的用法。这里需要一个新的用法:
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList
其中reg是正则表达式,html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。
这里的正则表达式reg有两个地方要注意。
一个是“(.*?)”。只要是()中的内容都是我们将要获得的内容,如果有多个括号,那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号,分别对应城市、最低温和最高温。
另一个是“.*?”。python的正则匹配默认是贪婪的,即默认尽可能多地匹配字符串。如果在末尾加上问号,则表示非贪婪模式,即尽可能少地匹配字符串。在这里,由于有多个城市的信息需要匹配,所以需要使用非贪婪模式,否则匹配结果只剩下一个,且是不正确的。
- Python天气预报采集器实现代码(网页爬虫)
- python进阶——利用网页爬虫写天气预报采集器
- python实现简易采集爬虫
- python实现简易采集爬虫
- python实现网页爬虫
- Python简单两步实现天气爬虫采集器
- Python 实现网络爬虫 抓取静态网页【代码】
- Python scrapy 实现网页爬虫
- python爬虫之伪造报头来采集网页信息
- 网页插入天气预报代码
- C#多线程网页采集器(Spider,网页爬虫)
- python爬虫:短代码实现多线程爬虫
- 网页数据采集爬虫研究
- python爬虫----scrapy爬虫之天气预报
- Python数据采集之网页解析器
- C#采集网页代码
- 采集网页图片代码
- python 多线程采集网页
- python代码检查工具pylint 让你的python更规范
- LINUX重定向基础
- 项目总结(三):商务拨号,在实践中学习如何管理
- CakePHP 2.x CookBook 中文版 第三章 入门 之 一个典型的 CakePHP 请求
- ERRORLEVEL 的简单认识
- Python天气预报采集器实现代码(网页爬虫)
- CakePHP 2.x CookBook 中文版 第三章 入门 之 约定
- Python的一些用法分享
- 排序算法总结(一)
- ssh批量登录并执行命令的python实现代码
- 一个处理多值Map集合的算法
- python中将阿拉伯数字转换成中文的实现代码
- hadoop学习笔记(8)-hosts文件配置的问题
- C#中的泛型