解决scrapy下载图片时相对路径转绝对路径的问题
来源:互联网 发布:npc数据库 编辑:程序博客网 时间:2024/04/27 15:26
这段时间一直在研究利用scrapy抓取图片的问题,我发觉,用官网的http://doc.scrapy.org/en/0.12/topics/images.html的donwload item images的教程只能处理html中包含绝对路径的图片,对于javascript动态生成的图片和包含相对路径的图片都是无可奈何的。
经过一段时间的各种恶心,现在终于搞定了相对路径转绝对路径的问题,下面就记录下个人心得:
其实结果很简单,但是如果不了解相关函数的用法,那就是各种恶心了。
其实关键就是两个函数:base_url = get_base_url(response)和[urljoin_rfc(base_url, ru) for ru in relative_url]
直接贴代码似乎更方便更好理解:
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.utils.response import get_base_url
from scrapy.utils.url import urljoin_rfc
from dmoz.items import DmozItem
class DmozSpider(BaseSpider):
name = "dmoz.org"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.pizzahut.com.cn/phdi/index.aspx#!handler/home.ashx?&tagid=&proid="
]
def parse(self, response):
hxs = HtmlXPathSelector(response)
sites = hxs.select('//li/a[@target = "_blank"]/img')
items = []
i = 0
for site in sites:
base_url = get_base_url(response)
log = open("log.txt", "a")
log.write("base_url:" + base_url + "\n")
relative_url = site.select('./@src').extract()
log.write("relative_url:" + relative_url[0] + "\n")
i = i + 1
item = DmozItem()
item['image_urls'] = [urljoin_rfc(base_url, ru) for ru in relative_url]
items.append(item)
return items
要注意的一点就是:relative_url = site.select('./@src').extract()不能写成relative_url = site.select('./@src').extract()[0] //有些贴是这样写的
这样写会导致处理url时发生异常 raise ValueError('Missing scheme in request url: %s' % self._url)
- 解决scrapy下载图片时相对路径转绝对路径的问题
- css中插入图片时的相对路径和绝对路径
- html图片的绝对路径和相对路径
- 相对路径,绝对路径问题
- .net绝对路径和相对路径的问题
- C# 中相对路径、绝对路径的问题
- 相对路径与绝对路径的问题
- Java 相对路径与绝对路径的问题
- 绝对路径与相对路径的问题
- C# 中相对路径、绝对路径的问题
- 相对路径和绝对路径的问题
- 相对路径转绝对路径
- jsp图片显示问题(绝对路径和相对路径)
- Java爬虫的相对路径转绝对路径
- 网站页面导入css,图片等文件的相对路径和绝对路径问题
- 关于h5中图片不显示的问题之绝对路径和相对路径
- 相对路径,绝对路径问题总结
- 相对路径和绝对路径问题
- 珍藏的网址
- 格式字符串
- Linux shell I/O重定向详解
- struts2 页面控制时间格式
- 【Android游戏开发二十】物理游戏之重力系统开发,让你的游戏变得有质有量!
- 解决scrapy下载图片时相对路径转绝对路径的问题
- MyBatis之增加删除修改
- c# 事件
- Zoom属性解释
- 演示ContentProvider使用--获取通讯录所有联系人号码、email的例子
- Uninstall DB2 on Linux from Command Line
- JavaScript 事件处理
- mysql 性能优化之 mysqlreport
- Google正式推出Dart,结构化的Web编程语言