【python爬虫学习经历一】

来源:互联网 发布:如何在淘宝挑选枸杞 编辑:程序博客网 时间:2024/06/05 02:38

感谢csdn 博主: 请叫我汪海

1.URL的格式由三部分组成: 

①第一部分是协议(或称为服务方式)。

②第二部分是存有该资源的主机IP地址(有时也包括端口号)。

③第三部分是主机资源的具体地址,如目录和文件名等。

第一部分和第二部分用“://”符号隔开,

第二部分和第三部分用“/”符号隔开。

第一部分和第二部分是不可缺少的,第三部分有时可以省略。 

爬虫最主要的处理对象就是URL,它根据URL地址取得所需要的文件内容,然后对它 进行进一步的处理。

因此,准确地理解URL对理解网络爬虫至关重要。

2.最简单的爬虫程序:

import urllib2
response=urllib2.urlopen('http://www.baidu.com/')
html=response.read()
print html

这样直接把百度首页的原代码打出来了。

或者

import urllib2
req = urllib2.Request('http://www.baidu.com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page

3.urllib2的常用方法:

.Request() 发送请求

.urlope你()打开网页

.read() 读取网页

0 0
原创粉丝点击