Python采集实例1
来源:互联网 发布:javashop最新源码下载 编辑:程序博客网 时间:2024/05/09 01:54
目标是把http://www.gg4493.cn/主页上所有数据爬取下来,获得每一篇新闻的名称、时间、来源以及正文。
接下来分解目标,一步一步地做。
步骤1:将主页上所有链接爬取出来,写到文件里。
python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能。
复制代码代码如下:
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
我们都知道html链接的标签是“a”,链接的属性是“href”,也就是要获得html中所有tag=a,attrs=href 值。
查阅了资料,一开始我打算用HTMLParser,而且也写出来了。但是它有一个问题,就是遇到中文字符的时候无法处理。
复制代码代码如下:
class parser(HTMLParser.HTMLParser):
def handle_starttag(self, tag, attrs):
if tag == 'a':
for attr, value in attrs:
if attr == 'href':
print value
后来使用了SGMLParser,它就没有这个问题。
复制代码代码如下:
class URLParser(SGMLParser):
def reset(self):
SGMLParser.reset(self)
self.urls = []
def start_a(self,attrs):
href = [v for k,v in attrs if k=='href']
if href:
self.urls.extend(href)
SGMLParser针对某个标签都需要重载它的函数,这里是把所有的链接放到该类的urls里。
复制代码代码如下:
lParser = URLParser()#分析器来的
socket = urllib.urlopen("http://www.gg4493.cn/")#打开这个网页
fout = file('urls.txt', 'w')#要把链接写到这个文件里
lParser.feed(socket.read())#分析啦
reg = 'http://www.gg4493.cn/.*'#这个是用来匹配符合条件的链接,使用正则表达式匹配
pattern = re.compile(reg)
for url in lParser.urls:#链接都存在urls里
if pattern.match(url):
fout.write(url+'\n')
fout.close()
- Python采集实例1
- Python采集实例2
- 采集实例
- 采集实例
- Python数据采集1-BeautifulSoup
- Python网络数据采集(1)
- python--采集1(urllib模块)
- Python查询MySQL进行远程采集图片实例
- python 百度地图信息采集实例(包含经纬度)
- Python采集
- Python网络数据采集学习笔记1
- Python网络数据采集1(译者:哈雷)
- PHP采集代码实例
- 采集远程内容实例
- php socket采集实例
- PHP socket采集实例
- python 异步采集
- python 多线程采集网页
- 理解模型——用树的概念理解递归
- 6-5 链式表操作集(20 point(s))
- 讲给Android程序员看的前端教程(15)——CSS选择器(5)
- 客制化键盘之GH60折腾
- NOIP复赛复习(五)程序对拍与图论模板
- Python采集实例1
- 6-6 带头结点的链式表操作集(20 point(s))
- expdp、impdp 使用sys用户操作时的注意事项
- 跟大师学习系统编程---操作系统加载(9)
- 打开MySQL数据库远程访问的权限
- android StringBuffer实现换行
- 2.Myeclipse快捷键
- js打印值为[object HTMLInputElement]
- 一个APP吊起另外一个APP