使用selenium抓取最右搞笑视频存入本地python3
来源:互联网 发布:linux 查看mysql版本 编辑:程序博客网 时间:2024/05/21 11:11
import os # 使用系统模块创建文件夹from time import sleep # 打开浏览器后休眠时间 也可以是用selenium中自己的上方法from selenium.webdriver.support.ui import WebDriverWait # 这个是selenium中自带的方法import requests # 使用requests获取抓取到的视频链接from lxml import etree # 使用xpath查找元素from selenium import webdriver # 使用selenium中的webdriver中的方法获取js加载的也米娜# 自定义的类class ZuiYou(object): # 初始化 def __init__(self): # 自定义你要抓取的链接url 这个链接是最右上面的搞笑视频 self.url = 'https://zuiyou.ixiaochuan.cn/home' # 使用的chrome浏览器 self.driver = webdriver.Chrome() # 定义你抓取到的视频放到哪里 self.path = 'D://搞笑视频' # 定义函数得到数据 def get_yuan(self): # 判断一下你d盘下有没有这个路径有的话打开没有的话创建 if not os.path.exists(self.path): os.mkdir(self.path) # 创建这个文件 os.chdir(self.path) # 打开这个文件 self.driver.get(self.url) # 得到你到解析的网页 self.driver.maximize_window() # 浏览器放大 sleep(1) # 休眠一秒 self.driver.execute_script('window.scrollBy(0, 30000)') # 下拉滚动条 sleep(3) # 得到你的整个视频那一块的代码 video = etree.HTML(self.driver.page_source).xpath( '//*[@id="app"]/div/div/div[1]/div[2]/div/div[1]/div[1]/div/div[2]') # 遍历你得到的整个视频 for i in video: # 得到作者的名称 title = i.xpath('div[1]/div/text()') if not os.path.exists(title[0]): os.mkdir(title[0]) # 以作者的名称创建文件夹 for j in i.xpath('div[2]/a/@href'): # 找到视频的链接 request = requests.get(j).content # 得到视频 with open(title[0] + '\\' + j[-8:] + '.mp4', 'wb') as e: print('写入的是%s' % title) e.write(request) # 写入视频# 代码调试片段if __name__ == '__main__': SJ = ZuiYou() SJ.get_yuan()
阅读全文
0 0
- 使用selenium抓取最右搞笑视频存入本地python3
- 使用python3抓取新浪股票使用beautifulsoup解析和selenium
- [bigdata-031] python3+selenium 做抓取
- 使用selenium抓取网页内容
- 抓取网上图片,并生成缩略图存入本地
- 直播网站LiveTV Mining,爬虫抓取数据 python3+selenium+phantomjs
- 使用python3抓视频.
- JMF 语音视频流本地抓取类
- 搞笑视频
- 用python3.5抓取内涵段子并且保存到本地
- Selenium的运行环境不要使用python3
- python3里使用selenium webdriver自动化测试
- python3使用selenium登录新浪微博
- 使用python3的Selenium启动chromedriver
- [搞笑] 后舍男生最完美的视频收藏全纪录
- [搞笑] 后舍男生最完美的视频收藏全纪录
- 使用 Python3 抓取网页的简单范例
- [bigdata-56] py3+selenium 抓取学信网 最简demo
- Oracle游标的执行相关问题
- if (!IsPostBack)作用
- 实模式和保护模式虚拟地址映射
- 如何修改公网ip和mac地址
- 桥接(Bridge)模式
- 使用selenium抓取最右搞笑视频存入本地python3
- ARM汇编中ldr与adr的区别
- WebSocket中,onopen携带参数
- fragment重叠问题解决方案
- 每日一生信--blast2go本地化(终极版)
- 手机必不可少的功能-FOTA(无线升级)
- 内部排序(1)——插入类排序
- js获取html内容
- 创建对象的七种方式