python爬虫——获取新闻标题
来源:互联网 发布:嵌入式单片机 编辑:程序博客网 时间:2024/06/05 07:40
打开要提取的新闻页面
右键-》审查元素(N)进入开发者界面
进入Network,选中recording network log(红色圆点),筛选
(蓝色漏斗),然后重新加载页面。选择doc,左下第一列即为所选目标。通过headers 和 Responses可以确认是不是我们所要选择的内容。
headers中 Request URL:https://news.sina.cn/2017-08-21/detail-ifykcqaw0391535.d.html?from=wap 就是我们所要爬取的网页的网址,将其复制到requests.get()中
- 标题的选取。
点击“选择元素”图标,将光标放在标题上,即可看到标题所在代码行。
这里可以看到标题的calss 为
<h1 class="art_tit_h1">....</h1>
双击复制art_tit_h1,放入我们的soup.select()中 。
- 获取时间
timesource = soup.select('.weibo_time')[0].contents[1].text.strip()type(timesource)timesource
注意:
soup.select()调用的时候
class 用 ‘.*’
id 用 ‘#*’
阅读全文
0 0
- python爬虫——获取新闻标题
- 关于python网络爬虫——摘取新闻标题及链接
- python获取新闻标题及发布时间
- python爬虫——获取正文内容
- python爬虫——获取图片2
- android Jsoup获取网站内容(实例为新闻标题获取) —android网络必学
- Python爬虫(4)——获取CSDN链接
- Python 爬虫 —— 获取js渲染的内容
- python爬虫——获取豆瓣评分图书
- python爬虫——获取新浪新闻前两页新闻信息
- python爬虫实例—获取北邮教务GPA
- python小爬虫—获取学校教务处成绩
- Python 网络爬虫与信息获取(一)—— requests 库的网络爬虫
- python爬虫-->获取数据
- pyquery示例-获取FreeBuf新闻标题
- python——爬虫
- python——爬虫
- Python——爬虫
- mysql函数大全,特别详细
- Spring Cloud
- 利用SSM(springmvc+spring+mybatis)实现多表联合查询
- 【总结】办公&编程&学习你可能需要这些小利器!
- 剑指offer:不用加减乘除做加法
- python爬虫——获取新闻标题
- 全文搜索引擎 Elasticsearch 入门
- ubuntu python2.7安装MySQLdb
- 用aardio给python写个图形界面
- JavaScript 调试
- java正则表达式匹配空格 tab空格 制表符
- JavaScript的引用类型1(Object Array)
- CodeFroces 817B. Makes And The Product(构造)
- CUDA nvcc编译步骤简单讲解