[Python 爬虫之路3] 使用seletom，爬取淘女郎-美人库的内容

关键点

1. 显式和隐式的停止
2. 这次只用到了对象的点击，之后还会用到表单填写等更复杂的东西

# 目标：# 对淘女郎-美人库页面的美人信息和图片进行抓取# 1.创建新的目录，用对应的用户名存取每一个照片# 使用 seletom 来进行动态的抓取__author__ = 'XZ'# -*- coding:utf-8 -*-# 使得python支持中文import requestsfrom bs4 import BeautifulSoupfrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byimport osclass TBMR:    # 初始化，传入基本部分和参数部分    def __init__(self):        pass    # 获取首页的页面信息    def getMMsInfo(self):        url = 'https://www.taobao.com/markets/mm/mmku'        driver = webdriver.Chrome()        driver.get(url)        try:            element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME,"skip-wrap"))) # 查看10秒内，是否有页码部分出现            print("成功提取页码")            soup = BeautifulSoup(driver.page_source,"html.parser")            # 获取到了全部的页数            pageNum = soup.find('span',class_ = "skip-wrap").find('em').text            print("开始爬取头像！")            # 同时得保存第一出现的图片，因为观察可得，原网页当前页是不能点击的，所以第一次不能通过点击完成            # 获取网页内容            soup = BeautifulSoup(driver.page_source, "html.parser")            mms = soup.find_all('div', class_="cons_li")            # 对于每一个mm对象，获取其名字和头像            self.saveMMS(mms)            # 从第2页开始便利点击            for i in range(2,int(pageNum)):                # 点击当前页                curpage = driver.find_element_by_link_text(str(i))                curpage.click()                # 等待当前页加载完成                pics = WebDriverWait(driver,10).until(EC.presence_of_element_located((By.CLASS_NAME,"skip-wrap")))                # 获取网页内容                soup = BeautifulSoup(driver.page_source,"html.parser")                mms = soup.find_all('div',class_ = "cons_li")                # 对于每一个mm对象，获取其名字和头像                self.saveMMS(mms)                print("当前完成：第"+str(i)+"页")        finally:            driver.quit()    # 从一个mms对象保存    def saveMMS(self,mms):        for mm in mms:            name = mm.find('div', class_="item_name").find("p").text            img = mm.find('div', class_='item_img').find('img').get("src")            # 如果路径不存在，设置存储路径            dirpath = os.getcwd() + "\\美人\\"            if not os.path.exists(dirpath):                os.makedirs(dirpath)            namepath = os.getcwd() + "\\美人\\" + name + ".jpg"            self.saveImg(img, namepath)    # 保存一张照片    def saveImg(self, imageURL, fileName):        if not 'http' in imageURL: # 去掉src不格式的图片：例如 //img.alicdn.com/imgextra/i3/728310618/TB2s7glc3NlpuFjy0FfXXX3CpXa_!!728310618-2-beehive-scenes.png_468x468q75.jpg，是无法识别的            return        u = requests.get(imageURL,stream = True).content        try:            with open(fileName,'wb') as jpg:                jpg.write(u)        except IOError:            print("写入图片错误！")    # 开始函数    def start(self):        print("抓起淘女郎-美人库第一页的内容，并存储于\" 美人 \" 文件夹下")        self.getMMsInfo()        print("下载完成！")tbmm = TBMR()tbmm.start();