Python爬取新浪新闻

打开网址输入 news.sina.com.cn

这里我选择了国际新闻，然后点击检查 通过查看可以发现新闻的相关信息存放在如下图的js文件里面

在上图中我们通过点击相关元素便能轻易的找到需要的信息，通过层层分析最后编写爬虫：

代码如下：

import jsonimport requestsfrom bs4 import BeautifulSoupimport pymongofrom pymongo import MongoClient'''需用用到的库有json requests BeautifulSoup 新闻的存储方式采用pymongo进行数据存储'''def get_html(page):    url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gjxw&level==1||=2&show_ext=1&show_all=1&show_num=22&tag=1&format=json&page={}'    #进行页面请求时，我们添加捕获异常的处理语句    try:        res=requests.get(url.format(page))        if res.status_code==200:#状态码为200表示请求成功            return res.text    except TimeoutError:        print('请求失败!')        return None'''该函数用来获取的新闻链接'''def parser_url(html):    urls=[]    jd=json.loads(html)['result']['data']#使用json进行解析    for data in jd:        url=data['url']        urls.append(url)    return urlsdef parse_content(urls):    '''    采用CSS选择器对网页进行解析    :param urls:    :return:    '''    for url in urls:        srcs = []#一篇新闻可能含有多个图片，用scrs来存放        article = []#存放一篇新闻        res=requests.get(url)        res.encoding='utf-8'#不设置utf-8编码，会出现乱码的情况        soup=BeautifulSoup(res.text,'lxml')        show_author=soup.select('.show_author')[0].text[5:]#将字符串为责任编辑： 去掉        date=soup.select('.date')[0].text #获取日期        title = soup.select('.main-title')[0].text#获取新闻标题        source = soup.select('.source')[0].text#新闻来源        print(title)        for i in soup.select('.article p'):            #获取每一个新闻段落，并存放在列表article中            print(i.text)            article.append(i.text)        #打印相关信息        print(show_author)        print(source)        print(date)        for i in soup.select('.img_wrapper img'):            srcs.append(i.get('src'))            print(i.get('src'))        #构造一个字典用于存储抓取下来的所有信息        information={            'title':title,            'article:':article,            'show_author': show_author,            'source':source,            'data':date,            'src':srcs        }        save_mongodb(information)    return informationdef save_mongodb(information):    client = MongoClient('mongodb://localhost:27017/')    db=client.mongodb_news#创建名为mongodb_news的数据库    if db['news'].insert(information):        print("插入mongodb数据库成功!")    else:        print("插入mongodb数据库失败!")def start():    for i in range(1,10):        html=get_html(i)        urls=parser_url(html)        parse_content(urls)if __name__=='__main__':    start()

运行如下:

数据库连接

小提示：在运行程序时一定要记得先连接mongodb数据库