Scrapy by requests & bs4
来源:互联网 发布:千语淘客助手类似软件 编辑:程序博客网 时间:2024/05/22 03:51
#!/usr/bin/env python# -*- coding: utf-8 -*-import timeimport requestsfrom bs4 import BeautifulSoupstart = time.clock()url = 'http://news.sina.com.cn/china/'res = requests.get(url)res.encoding = 'utf-8'soup = BeautifulSoup(res.text, 'html.parser')for news in soup.select('.news-item'): if len(news.select('h2')) > 0: h2 = news.select('h2')[0].text tm = news.select('.time')[0].text href = news.select('a')[0]['href'] print(h2, tm, href)usetime = time.clock()-startprint('用时{}秒'.format(usetime))
0 0
- Scrapy by requests & bs4
- requests.get 和 bs4.BeautifulSoup
- python+requests+bs4 爬取暴走GIF图片
- requests和bs4的python爬虫入门
- 用 requests-bs4 爬取网络图片
- Scrapy框架--Requests对象
- windows 安装 scrapy、pip、requests
- ubuntu/linux pyhton3.x 安装pip、requests、bs4 BeautifulSoup4
- 利用bs4和requests爬取股票历史交易数据
- ImportError: No module named 'requests',No module named bs4
- requests‐bs4路线实现中国大学排名定向爬虫
- 用 requests 和 bs4 爬取世界大学排名数据
- 用 requests 和 bs4 爬取京东商品页面信息
- requests-re-bs4 定向爬取股票信息
- Python网络爬虫requests、bs4爬取空姐网图片
- 学习用requests, bs4 抓取网页特定的内容
- python:使用requests,bs4爬取mmjpg上的图片
- python:使用requests,bs4爬取西刺代理并验证
- 1043. 输出PATest(20)
- POJ 3222 边配对 中文
- 2016年下半年总结--大转变
- POJ 3223 足球赛 中文
- 最小生成树Prim算法理解
- Scrapy by requests & bs4
- Java多线程
- 视觉显著性
- POJ 3224 Lab杯 中文
- Qt 日志输出 QMessageLogger QtMessageHandler qInstallMessageHandler()
- 10年地理信息行业之我见
- 二叉排序树
- C#委托学习
- POJ 3225 区间 中文