斗鱼tv爬虫
来源:互联网 发布:导航网源码大全 编辑:程序博客网 时间:2024/04/27 15:21
代码写得很烂,将就着看看吧
import osimport requestsfrom bs4 import BeautifulSoupdef download(path, url): try: r = requests.get(url) r.raise_for_status with open(path, 'wb') as f: f.write(r.content) return True except: return Falsedef get(url): try: r = requests.get(url) r.raise_for_status r.encoding = 'utf-8' except: return False soup = BeautifulSoup(r.text, 'html.parser') title = soup.find('p', {'class':'listcustomize-topcon-p'}) floder = title['title'] print(floder) if not os.path.exists(floder): os.mkdir(floder) os.chdir('./' + floder) print("当前工作目录为 : %s" % os.getcwd()) position = soup.find('div', attrs = {'id':'live-list-content'}) tags = position.find_all('li') infos = [] errors = [] for tag in tags: info = [] name = tag.a.find('span', attrs = {'class':'dy-name ellipsis fl'}) if not name: errors.append(tag.a.img['data-original']) continue info.append(name.string) info.append(tag.a['data-rid']) info.append(tag.a.img['data-original']) path = './' + info[0] + ':' + info[1] + '.' + info[2].split('.')[-1] if download(path, info[-1]): print(info) else: errors.append(info[-1]) return errorsurl = 'https://www.douyu.com/directory/game/How'errors = get(url)print("error url:", errors)
运行结果:
阅读全文
0 0
- 斗鱼tv爬虫
- Python爬虫:斗鱼TV
- vue-斗鱼TV
- 参照斗鱼tv
- 斗鱼TV协议分享
- 斗鱼TV Web API
- 爬虫 斗鱼 直播
- 斗鱼TV、熊猫TV移动端竞品分析
- 斗鱼TV自动抢火箭鱼丸脚本——JavaScript DOM操作
- Python+爬虫技术获取斗鱼直播图片(整理)
- python爬虫----简单的抓取斗鱼弹幕
- 一个Bangumi.tv的爬虫
- node.js爬虫 保存数据为json、mysql、mongodb 虎牙、斗鱼、熊猫、全民、龙珠 在线直播间抓取
- 数据分析——以斗鱼为实例解析requests库与scrapy框架爬虫技术
- 模仿斗鱼弹幕
- 获取斗鱼图片
- 斗奶Tv 刷鱼丸脚本 原理讲解 以及 脚本解析 每天1000 不是梦。
- TV
- MVC入门 从Controller到VIew 之间传值学习
- WisKey的眼神(GCD)
- Java中用Ehcache做缓存处理
- 重置Mac“活动监视器”
- 剑指Offer——链表中倒数第K个节点
- 斗鱼tv爬虫
- windows GDI 获得设备内容和设备内容信息
- 蓝牙协议栈主从机之间发送数据
- 【小程序】砸Σ(っ °Д °;)っ-概率模拟小程序03
- UVA 11212 Editing a Book
- 原生js写网页版五子棋
- 常见数据分析方法汇总
- atlas mysql-proxy 的使用
- 详解--二叉树知识【转载】