python爬虫(五)多页码
来源:互联网 发布:分润系统源码 编辑:程序博客网 时间:2024/06/05 06:05
from bs4 import BeautifulSoupimport requestsimport timeurl = 'https://knewone.com/discover?page='def get_page(url,data=None): wb_data = requests.get(url) soup = BeautifulSoup(wb_data.text,'lxml') imgs = soup.select('a.cover-inner > img') titles = soup.select('section.content > h4 > a') links = soup.select('section.content > h4 > a') if data==None: for img, title, link in zip(imgs, titles, links): data = { 'img': img.get('src'), 'title': title.get('title'), 'link': link.get('href') } print(data)def get_more_pages(start,end): for one in range(start,end): get_page(url+str(one)) time.sleep(2)get_more_pages(1,10)
0 0
- python爬虫(五)多页码
- python爬虫(五)图片下载爬虫
- Python爬虫实践(五):Cookie
- python网络爬虫(五):并发抓取
- python爬虫系列(五):多线程实例
- Python爬虫入门五
- Python网络爬虫(五):爬虫原理总结
- WSWP(用 python写爬虫) 笔记五:并发爬虫
- python[五]:python爬虫进阶
- Python爬虫开发(五):反爬虫措施以及爬虫编写注意事项
- python写简单爬虫的五种方法 (转)
- Python网络爬虫(五)-----geturl及info
- [Python]网络爬虫(五):抓站经验技巧
- Python爬虫包 BeautifulSoup 学习(五) 实例
- Python爬虫入门(五)PhatomJS+Selenium第二篇
- Python爬虫学习纪要(五):正则表达式2
- python爬虫进阶(五):数据的存储
- Python爬虫系列(五)360图库美女图片下载
- 基于glist自定义自己的链表数据结构
- 几种设计模式
- dao层开发代码
- SELECT LAST_INSERT_ID() 的使用和注意事项
- hdoj 5878 I Count Two Three
- python爬虫(五)多页码
- android 实现aidl跨进程通信之一
- Mac安装TensorFlow
- 决策树--ID3算法
- RequestMapping的相关知识讲解(补)
- Windows2008 R2服务器配置TLS1.2方法
- 【EJB】Developing EJB Applications -- Chapter 2(创建企业级Bean项目)
- PAT A1086
- 孙云球(二分枚举)(AOJ 851)