python爬虫——获取新闻标题

来源:互联网 发布:嵌入式单片机 编辑:程序博客网 时间:2024/06/05 07:40
  1. 打开要提取的新闻页面

  2. 右键-》审查元素(N)进入开发者界面

  3. 进入Network,选中recording network log(红色圆点),筛选
    (蓝色漏斗),然后重新加载页面。选择doc,左下第一列即为所选目标。通过headers 和 Responses可以确认是不是我们所要选择的内容。
    headers中 Request URL:https://news.sina.cn/2017-08-21/detail-ifykcqaw0391535.d.html?from=wap 就是我们所要爬取的网页的网址,将其复制到requests.get()中

这里写图片描述

  1. 标题的选取。
    点击“选择元素”图标,将光标放在标题上,即可看到标题所在代码行。

这里写图片描述

这里可以看到标题的calss 为

<h1 class="art_tit_h1">....</h1>

双击复制art_tit_h1,放入我们的soup.select()中 。

这里写图片描述

  1. 获取时间
timesource = soup.select('.weibo_time')[0].contents[1].text.strip()type(timesource)timesource

这里写图片描述

注意:

soup.select()调用的时候
class 用 ‘.*’
id 用 ‘#*’

原创粉丝点击