python糗事百科爬虫
来源:互联网 发布:二手玫瑰知乎 编辑:程序博客网 时间:2024/05/16 16:05
周末没啥事花了几个钟写了这个爬虫。下面是结构图。
里面的功能已经足以帮我很好的分析糗事百科这个网站了。当然我知道别人也写过糗事百科的爬虫,不得不承认糗事百科的网页架构很简单,很适合作为爬虫初学者去练手。我是在没有任何参考的情况下一点点摸索写完这个爬虫的,也许比不上资深程序员写的,但也学到了很多
废话少说,下面我就举几个例子来感受下我写的爬虫吧。
1.分析用户
用户主页:
代码:
qiushi = QiuShi()_user_url = 'https://www.qiushibaike.com/users/10074783/'_user_message = qiushi.analyse_user_from_url(_user_url)for item in _user_message.items(): print(item)
分析结果
2.分析文章
文章页面:
代码:
qiushi = QiuShi()_article_url = 'https://www.qiushibaike.com/article/119762872'_article_message = qiushi.analyse_article_from_url(_article_url)for item in _article_message.items(): print(item)
分析结果:
3.还可以分析并下载用户的所有文章
代码:
qiushi = QiuShi()_user_url = 'https://www.qiushibaike.com/users/10074783/'_user_message = qiushi.analyse_user_from_url(_user_url)_user_name = _user_message['用户名']_article_urls = _user_message['所有糗事链接']qiushi.download_article(_article_urls, _user_name)
效果:
4.当然除了上面的例子还可以利用我里面的函数自由组合,达到自己想要爬取的结果
最后如果想要源代码的,请关注我的微信公众号,并回复“糗事百科爬虫”便可获取代码:
阅读全文
0 0
- python爬虫糗事百科
- Python糗事百科爬虫
- python爬虫“糗事百科”
- python爬虫糗事百科
- python糗事百科爬虫
- python糗事百科爬虫
- python爬虫(1):糗事百科
- Python爬虫实战:糗事百科
- python爬虫_糗事百科
- 使用python写糗事百科的爬虫
- Python网络爬虫抓取糗事百科
- python爬虫爬取糗事百科
- python 爬虫 爬取糗事百科段子
- Python 爬虫实战 - 糗事百科段子
- Python爬虫学习1--糗事百科
- Python爬虫实战之爬糗事百科
- Python 爬虫 糗事百科 (改)
- Python爬虫 爬取糗事百科段子
- 算法—直接插入排序
- Eclipse打开报错:failed to load the jni shared library
- 关于助力砍价及微信公众号评论刷点赞及精选文章留言评论区点赞刷赞方法
- Oracle表空间管理
- leetcode: 71. Simplify Path
- python糗事百科爬虫
- EditPlus格式化XML
- 选择小程序的8大理由,让你拒绝说No
- map使用下标[]还是insert
- C/C++解析XML,pugixml库的使用
- 分布式事务-下单、支付案例
- leetcode: 72. Edit Distance
- LVM
- clk_get_rate函数