Python3.6 学习爬虫入门篇

直接附代码:

# -*- coding:utf-8 -*-# 糗事百科爬虫import urllib.requestimport osclass Crawler:    # 获取HTML信息    def open_url(self, url):        req = urllib.request.Request(url)        # 伪装成浏览器访问        req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'                                     ' Chrome/49.0.2623.112 Safari/537.36')        response = urllib.request.urlopen(req)        return response.read()    # 查找图片    def find_img(self, url):        # 打开地址并转码        html = self.open_url(url).decode('utf-8')        # 获取html中第一个'img src='的下标        img_start = html.find('img src=')        img_url_arr = []        while img_start != -1:            # 从img_start到img_start + 200查找,获取第一个'.jpg'的下标            img_end = html.find('.jpg', img_start, img_start + 200)            if img_end != -1:                # 根据img_start和img_end截取字符串,获得img地址                img_url = html[img_start+9:img_end+4]                # 加入数组                img_url_arr.append(img_url)            # 获取已'.JPEG'结尾的图片            # img_end_jpeg = html.find('.JPEG', img_start, img_start + 200)            # if img_end_jpeg != -1:            #     img_url = html[img_start+9:img_end_jpeg+5]            #     img_url_arr.append(img_url)            # 继续查找            img_start = html.find('img src=', img_start + 9)        return img_url_arr    def save_img(self, img_url_arr):        # 遍历数组        for img_url in img_url_arr:            print("下载图片地址:%s" % img_url)            # 从倒数第一个'/'到结尾截取字符串作为文件名            filename = img_url.split('/')[-1]            with open(filename, 'wb') as f:                # 打开地址.这里视情况而定,有些网页的图片包含"http:"                img = self.open_url('http:' + img_url)                f.write(img)    def start_download(self, page=10):        # %d处为页码,后面用%替换        url = "http://www.qiushibaike.com/imgrank/page/%d/"        try:            # 创建文件夹            os.mkdir('糗事百科图')        except Exception:            print("")        # 将工作环境移动到创建的文件夹下面        os.chdir('糗事百科图')        for p in range(1, page + 1):            print("开始第%d页" % p)            # %替换页码,获取图片地址            img_url_arr = self.find_img(url % p)            # 保存图片            self.save_img(img_url_arr)crawler = Crawler()crawler.start_download(3)