Python自动化(八)使用Scrapy shell提取网页信息
来源:互联网 发布:muji值得买的东西 知乎 编辑:程序博客网 时间:2024/06/16 09:29
使用Scrapy shell提取网页信息
- 使用Scrapy shell提取网页信息
- 说明
- 使用scrapy shell获得网页内容
- 关于request和response
- 关于responsebody
- 提取responsebody中指定的数据
说明
本文假设您已经成功安装Scrapy。
使用scrapy shell获得网页内容
在终端中执行如下命令: scrapy shell -s USER_AGENT="Mozilla/5.0" "https://www.qiushibaike.com"
如果顺利的话,将看到下图所示的界面:
关于request和response
request对象中存放的是向服务器发送的请求信息;
response对象中存放的是从服务器获得的所有响应信息。
关于response.body
response.body是从服务器获得的内容。
提取response.body中指定的数据
这里,我们以提取网页中的主题内容为例,首先我们找到内容对应的xpath路径,如下图:
然后,我们通过response.xpath()方法提取所有内容,如下图:
从图中的结果可以看到,我们提取的内容中包含HTML标签,我们可以通过二次xpath优化一下,去掉多余的HTML标签,如下图:
接下来,我们可以在修改一下,把提取的信息保存到文件中,如下图所示:
阅读全文
0 0
- Python自动化(八)使用Scrapy shell提取网页信息
- Python 小技巧:使用 scrapy.selector 从 XML 中提取信息
- Python网络爬虫(八):Scrapy框架的使用
- Python爬虫学习(八)爬网页文字信息
- 【python爬虫】scrapy框架笔记(一):创建工程,使用scrapy shell,xpath
- Python:Scrapy Shell的使用教程
- Python使用xslt提取网页数据
- Python使用xslt提取网页数据
- Python写自动化之使用sphinx提取Python代码docstring
- 使用Python抓取网页信息
- 使用Python抓取网页信息
- Python爬虫系列之----Scrapy(五)网页提取的三种方式(正则,Beautiful Soup,Lxml)
- Python 爬虫 正则抽取网页数据和Scrapy简单使用
- Scrapy shell使用
- pyhton爬虫(9)——使用XPath提取网页信息
- C#使用正则表达式提取网页中的信息数据
- 使用BeautifulSoup提取网页信息并自动存储
- (八)Scrapy框架
- ucos学习笔记一
- Python+Selenium【2】学习目录
- tocmat开机自启动配置
- 从大学毕业的迷茫,到现在拿到高薪,感谢爱创课堂的老师
- Openwrt 安全模式failsafe分析
- Python自动化(八)使用Scrapy shell提取网页信息
- 求和数列
- Python格式化字符 %s %d %f
- JVM中线程状态转换及线程操作函数的理解
- mybatis入门程序(1)
- sql
- JS动态根据前面的列合并后面的列
- hdu2717 Catch That Cow
- 生产订单形成的差异如何传递到COPA