Python之爬虫工具包
来源:互联网 发布:指南针软件 股票 编辑:程序博客网 时间:2024/05/01 13:39
requests包:是一个实用的python的http客户端库,编写爬虫从web上爬取数据时经常用到 ,简单实用,接口简单 ,requests.get(URL)。
lxml包:主要用来解析通过requests抓取的html内容,从中提取出我们需要的数据,在对html文本内容进行提取、筛选时用到的是xpath语法 ,lxml使用的是xpath语法对html内容进行的定位筛选提取。
lxml包的使用:
通过lxml工具可以从html代码中提取我们需要的数据
一个网页就是一个html的文件
需要通过lxml对一个html格式的文件内容进行组织(组织成一个树形结构)
html文件是一个树形结构 - 类型linux系统的目录结构
通过lxml组织成树形结构后,然后再使用xpath语法对内容进行定位、筛选、过滤
xpath的语法使用:
路径表示(使用xpath语法来表示xml文本中标签的路径)
//div 定位到根节点下的所有的div标签,并返回一个可迭代对象
//div[class="j-r-list-c-desc"]/hl/text() 提取某个标签下的文本数据
/@href 提取的是某个标签下的属性名称为href的属性值
筛选条件
//div[@class="link"]定位到根目录下的包含class属性并且属性值为link的div标签
//div[li] 筛选出根目录下所有的包含li子标签的div标签
//div[@class] 筛选出包含class属性的div标签
阅读全文
1 0
- Python之爬虫工具包
- Python爬虫之分布式爬虫
- Python之网络爬虫
- Python--之网络爬虫
- python之xpath爬虫
- python之文本爬虫
- python之爬虫框架
- python爬虫之BeautifulSoup
- python爬虫之lxml
- python爬虫之cookies
- Python爬虫之Pixiv
- python爬虫之-BeautifulSoup
- Python之网络爬虫
- Python爬虫之路
- python爬虫之图片下载
- Python爬虫之requests
- python爬虫之xpath
- python爬虫之图片
- 07:矩阵归零消减序列和(1.8编程基础之多维数组)
- HDU 6184 Counting Stars(无向图三元环计数)
- 深度剖析 JDK7 ConcurrentHashMap 中的知识点
- senet
- Lowest Common Ancestor III
- Python之爬虫工具包
- 浅谈promise(起码看完让你会用它的then、catch、resolve、reject、race等方法)
- 百练OJ:2965:玛雅历
- Server Tomcat v7.0 Server at localhost failed to start.解决方法
- CCF 201403-1 相反数
- C++学习笔记07
- Python基础教程第四章学习笔记——字典:当索引不好用时
- 植物认养项目导图
- RecycleView(CheckBox全选,反选,单选)