来写一只爬虫

来源:互联网 发布:php开发微信商城pdf 编辑:程序博客网 时间:2024/05/14 15:17
来写第一只爬虫
  1. from scrapy.spider import Spider  
  2.   
  3. class DmozSpider(Spider):  
  4.     name = "dmoz"  
  5.     allowed_domains = ["dmoz.org"]  
  6.     start_urls = [  
  7.         "http://www.baobaokuaizhangda.com/",  
  8.         "http://www.baobaokuaizhangda.com/"  
  9.     ]  
  10.   
  11.     def parse(self, response):  
  12.         filename = response.url.split("/")[-2]  
  13.         open(filename, 'wb').write(response.body) 
0 0
原创粉丝点击