Python爬取3gpp R13协议

工作中需要用到3gpp,各个系列用到的文件比较多，一个一个找又很麻烦。

干脆一不做二不休，全部打包！

平台：

Python3.5

直接上代码：

'''Python爬取3gpp协议R13版本所有文本将爬取的.zip文件按照3gpp网站http://www.3gpp.org/ftp/Specs/latest/Rel-13/内容进行自动分类。'''import urllib.request #获取URL文本import re,os #正则表达式匹配URL及.zip文件#设置起始URL.start_url = 'http://www.3gpp.org/ftp/Specs/latest/Rel-13/'#爬取网页内容保存到conentNet字符串中.with urllib.request.urlopen(start_url) as f:    contentNet = f.read().decode('utf-8')#解析R13协议的所有系列：['/21_series','/22_series'.....'/55_series']list_Parser = re.findall(r'/[0-9]{2}.series',contentNet)#解析得到所有.zip文件的URL绝对地址list_path = []list_File = []list_Zip = []list_URL = []for i in list_Parser:    i2 = i.strip('/')    list_File.append(i2)for i in list_Parser:    i2 = start_url+i.strip('/')    list_path.append(i2)for i in list_path:    with urllib.request.urlopen(i) as f:        contentURL = f.read().decode('utf-8')    list_Zip = re.findall(r'/[0-9]{5}.*?\.zip',contentURL)    for m_zip in list_Zip:        i2 = i+m_zip        list_URL.append(i2)#建立series文件夹,如果文件不存在的话。for i in list_File:    if not os.path.exists(i):        os.makedirs(i)#下载所有.zip文件到指定的文件夹...for i in list_URL:    os.chdir('E:\\Code\\python\\3gppData\\' + i.split('/')[-2])    #支持断点续传;    if os.path.exists(i.split('/')[-1]):        continue    else:        urllib.request.urlretrieve(i, i.split('/')[-1])    #TODO 导入线程模块，开启多线程解决单线程下载慢问题。