Selenium+PhantomJS()+PIL漫画快照

Selenium爬取漫画网站保存快照

一.目标网站分析

目标网站:漫画台
目标漫画:斗罗大陆:http://www.manhuatai.com/douluodalu/1.html
目标数据:网站的漫画部分
网站分析:

通过网址我们发现:每一章网址后缀数字不一样。第二章为*.2.html
以此类推。
selenium 可以模拟浏览器操作。我们只要模拟点击下一页按钮就可以翻页前提是读取方式为”单机翻页”如上图标注所示

我们需要做的就是定位到下一页这个标签！

二.关键数据获取
1.拼接url获取每一章的网址存到数组urls中，测试用所以只爬取几页

#获取urls    def getUrls(self):        urls=[]        for i in range(1,3):            url='http://www.manhuatai.com/douluodalu/'+str(i)+'.html'            urls.append(url)            self.log.debug('----待爬取的地址有:' + url)        return urls

2.初始化浏览器

 #初始化浏览器    def getBrowser(self,urls):        browser = webdriver.PhantomJS()        #循环获取每一个url        for url in urls:            try:                browser.get(url)            except:                mylog.error('open the %s failed' %url)            browser.implicitly_wait(1)        return browser

3.创建文件夹存取每一章的图片，文件夹名通过xpath定位title获取

#创建目录    def createDir(self, dirName):        if os.path.exists(dirName):            self.log.error('create directory %s failed, hava a same name file or directory' %dirName)        else:            try:                os.makedirs(dirName)            except:                self.log.error('create directory %s failed' %dirName)            else:                self.log.info('create directory %s success' %dirName)

#文件夹名cartoonTitle = browser.find_element_by_xpath('/html/body/div[2]/div[1]/h1/strong').text#取标题

4.保存图片
selenium提供了方法，但是这是截取的网页全屏，并不是我们所需要的，我们只想要漫画部分怎么办？
截取全屏:

browser.get_screenshot_as_file(imgName)#截全屏

这里我们要用到另外一个模块 Pillow，他是python的一个图像处理库 个人感觉类似于ps这样的软件，功能丰富，使用简单，具体详细用法大家看下api未安装记得安装.Pillow中最重要的类就是Image。接下来我们直接使用。
1.要想只截取漫画部分，要先定位漫画部分位置。

imgelement = browser.find_element_by_xpath('//*[@id="comiclist"]/div[1]/img')

2.获取定位部分大小

location = imgelement.location  # 获取漫画图片部分的x,y轴坐标size = imgelement.size  # 获取漫画图片部分的长宽

3.使用Image的crop函数，从截图中再次截取我们需要的区域并保存(不知道为什么获取的图片尺寸有偏差所以我调整了下宽高)

cutrange = (int(location['x']), int(location['y']), int(location['x'] + size['width']+500),                        int(location['y'] + size['height']+766))ii = Image.open(imgName)  # 打开截图newimg = ii.crop(cutrange)  # 使用Image的crop函数，从截图中再次截取我们需要的区域newimg.save(imgName)#保存新图片

4.换页保存
还是得定位下一页的标签位置

NextTag = browser.find_element_by_xpath('/html/body/div[4]/div[3]/span[2]')#下一页NextTag.click()#点击事件

大致的流程就是这样子了。

三.结果及源码

结果:

2.源码
爬虫类：

#!/usr/bin/evn python#-*- coding: utf-8 -*-from selenium import webdriverfrom MyLog import MyLog as mylogfrom PIL import Imageimport osimport timeclass GetCartoon(object):    def __init__(self):        self.log = mylog()        self.urls = []        self.startUrl=self.getUrls() #获取urls        self.browser = self.getBrowser(self.startUrl)        self.saveCartoon(self.browser)        self.browser.quit()    #获取urls    def getUrls(self):        urls=[]        for i in range(1,3):            url='http://www.manhuatai.com/douluodalu/'+str(i)+'.html'            urls.append(url)            self.log.debug('----待爬取的地址有:' + url)        return urls    #初始化浏览器    def getBrowser(self,urls):        browser = webdriver.PhantomJS()        #循环获取每一个url        for url in urls:            try:                browser.get(url)            except:                mylog.error('open the %s failed' %url)            browser.implicitly_wait(1)        return browser    # 保存图片    def saveCartoon(self, browser):        cartoonTitle = browser.find_element_by_xpath('/html/body/div[2]/div[1]/h1/strong').text#取标题        self.createDir(cartoonTitle)    #根据标题创建保存目录        os.chdir(cartoonTitle)          #切换到当前目录进行保存图片        sumPage = int(self.browser.find_element_by_xpath('/html/body/div[4]/div[3]/select/option[last()]').get_attribute('value'))#取总页数        self.log.info('%s pages ' %str(sumPage))        i = 1        while i<=sumPage:            imgName = str(i) + '.png'            browser.get_screenshot_as_file(imgName)#截全屏            # 定位漫画部分            imgelement = browser.find_element_by_xpath('//*[@id="comiclist"]/div[1]/img')            location = imgelement.location  # 获取漫画图片部分的x,y轴坐标            size = imgelement.size  # 获取漫画图片部分的长宽            cutrange = (int(location['x']), int(location['y']), int(location['x'] + size['width']+500),                        int(location['y'] + size['height']+766))            ii = Image.open(imgName)  # 打开截图            newimg = ii.crop(cutrange)  # 使用Image的crop函数，从截图中再次截取我们需要的区域            newimg.save(imgName)            self.log.info('save img %s' %imgName)            i=i+1            NextTag = browser.find_element_by_xpath('/html/body/div[4]/div[3]/span[2]')#下一页            NextTag.click()#点击事件            time.sleep(5)        self.log.info('save img sccess')    #创建目录    def createDir(self, dirName):        if os.path.exists(dirName):            self.log.error('create directory %s failed, hava a same name file or directory' %dirName)        else:            try:                os.makedirs(dirName)            except:                self.log.error('create directory %s failed' %dirName)            else:                self.log.info('create directory %s success' %dirName)if __name__ == '__main__':    GC = GetCartoon()

2.日志类
测试类这里不写了等下文章变得又臭又长，大家可以去我的其他文章中找。

四.总结
selenium是一个非常好用的自动化测试工具，更多的功能等着大家自己去发现。我们一般用他进行动态网页爬取，自动化测试，在今天的例子中我们还用另一个处理图片的库“Pillow”(PIL)，他的功能也很丰富，在后面的例子我们会用selenium模拟登陆，会用pillow处理验证码，结合tesseract做识别然后模拟登陆，敬请期待。