正则爬取多页图片及链接

因为要爬取图片及对应链接，所以本任务采取的方法是先使用正则把自己所需部分匹配出来，也就是每张图片及对应链接部分

e1list = re.findall('<div class="il_img"><a href=(.*?)</p>',text,re.S)

re.S。它表示“.”的作用扩展到整个字符串，包括“\n”。如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，将“\n”当做一个普通的字符加入到这个字符串中，在整体中进行匹配。

初次涉及新建一个文件然后写入爬取内容：

file = open('text.txt','w')file.write(text2.encode('utf8'))file.close()

其中还涉及了一个解码问题。一般来说，pycharm中使用的是Unicode编码，然后通过encode解码为utf-8编码。

encode()语法：

str.encode(encoding='UTF-8',errors='strict')

encoding -- 要使用的编码，如"UTF-8"。

errors -- 设置不同错误的处理方案。默认为 'strict',意为编码错误引起一个UnicodeError。 其他可能得值有 'ignore', 'replace', 'xmlcharrefreplace', 'backslashreplace' 以及通过 codecs.register_error() 注册的任何值。

 

还使用到了os模块，创建一个本地的目录。   

saveDir = 'D:\picture\\'# os.mkdirs(saveDir)

完整代码如下：

# coding:utf8import reimport urlliburl = 'http://www.ivsky.com/bizhi/index_'+str(1)+'.html'html = urllib.urlopen(url)text = html.read()e1list = re.findall('<div class="il_img"><a href=(.*?)</p>',text,re.S)namelist = []urlList = []for e1 in e1list:    name = re.findall('''target="_blank"(.*?)</a>''',e1,re.S)[1]    namelist.append(name)    url = 'http://www.ivsky.com'+re.findall('''<a href="(.*?)"''',e1,re.S)[0]    urlList.append(url)file = open('text.txt','w')for i in range(len(urlList)):    name = namelist[i]    url = urlList[i]    text2 = name+u'：'+url+u'\n'    file.write(text2.encode('utf-8'))file.close()