【python爬虫学习经历一】
来源:互联网 发布:如何在淘宝挑选枸杞 编辑:程序博客网 时间:2024/06/05 02:38
感谢csdn 博主: 请叫我汪海
1.URL的格式由三部分组成:
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址,如目录和文件名等。
第一部分和第二部分用“://”符号隔开,
第二部分和第三部分用“/”符号隔开。
第一部分和第二部分是不可缺少的,第三部分有时可以省略。
爬虫最主要的处理对象就是URL,它根据URL地址取得所需要的文件内容,然后对它 进行进一步的处理。
因此,准确地理解URL对理解网络爬虫至关重要。
2.最简单的爬虫程序:import urllib2
response=urllib2.urlopen('http://www.baidu.com/')
html=response.read()
print html
这样直接把百度首页的原代码打出来了。
或者
import urllib2
req = urllib2.Request('http://www.baidu.com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
3.urllib2的常用方法:
.Request() 发送请求
.urlope你()打开网页
.read() 读取网页
0 0
- 【python爬虫学习经历一】
- python 爬虫学习一
- Python 学习经历(一) :python语法总结
- python爬虫学习(一)
- python爬虫学习(一)
- Python 爬虫学习(一)
- Python爬虫学习(一)
- 学习经历(爬虫)
- 爬虫程序的学习经历
- python爬虫学习笔记(一)
- python基础_Scrapy爬虫基础学习一
- Python 爬虫学习稿(一)
- 使用python进行爬虫学习(一)
- 学习python写网络爬虫(一)
- 学习Python之网络爬虫(一)
- Python 网络爬虫学习(一)
- Python分布式爬虫学习(一)
- Python爬虫学习笔记(一)
- Dinner
- CI框架源码阅读笔记5 基准测试 BenchMark.php
- mapView
- 数组的理解
- Hdu 2639 Bone Collector II
- 【python爬虫学习经历一】
- 海量数据处理算法—Bloom Filter
- 实验三实验报告(2)-- 链式存储
- QT学习-VS2008添加QtSql - MYSQL
- Jquery时间求和 C#
- Qlikview Data Modeling---Concatenation
- 指针大览
- 例4:记录类型
- 从企业架构,看TOGAF为什么越来越重要?