pyton利用pyqt5的QWebkit抓取javascript执行后的动态网页

来源:互联网 发布:下载文华财经软件 编辑:程序博客网 时间:2024/03/29 19:11

对于 javascript 动态创建网页标签生成的网页,用python的urllib2抓取不到最终的网页。

使用Qt的QWebkit组件可以模拟浏览器执行javascript并讲最终网页提取出来。

之前网上有很多关于pyqt4抓取动态网页的帖子,但是pyqt5与pyqt4有细微不同,纪录下来以备后面查看。


import sysfrom PyQt5.QtWidgets import *from PyQt5.QtCore import *from PyQt5.QtWebKitWidgets import *#use QtWebkit to get the final webpageclass WebRender(QWebPage):    def __init__(self, url):        self.app = QApplication(sys.argv)        QWebPage.__init__(self)        self.loadFinished.connect(self.__loadFinished)        self.mainFrame().load(QUrl(url))        self.app.exec_()    def __loadFinished(self, result):        self.frame = self.mainFrame()        self.app.quit() r = WebRender(url)        html = r.frame.toHtml()        page = etree.HTML(html.encode('utf-8'))

注意:

1、PyQt5的 QWebPage 要从 PyQt5.QtWebKitWidgets 导入,QApplication 要从 PyQt5.QtWidgets 导入

2、r.frame.toHtml() 得到的html要encode成utf-8,以支持对中文字符的支持

0 0
原创粉丝点击