Python3，通过re模块中的sub()和findall()2个方法提升爬虫提取数据的效率

直接上Demo：

测试数据 - HTML：

'''<div id=\"songs-list\">""<h2 class=\"title\">各种汽车</h2>""<p class=\"introduction\">""各种汽车列表""</p>""<ul id=\"list\" class=\"list-group\">""<li data-view=\"2\">奥迪TT</li>""<li data-view=\"7\">""<a href=\"/2.png\" type=\"大众\">CC</a>""</li>""<li data-view=\"4\" class=\"active\">""<a href=\"/3.png\" type=\"宝马\">Mini</a>""</li>""<li data-view=\"6\"><a href=\"/4.png\" type=\"奥迪\">Q7</a></li>""<li data-view=\"5\"><a href=\"/5.png\" type=\"吉利\">金刚</a></li>""<li data-view=\"5\">""<a href=\"/6.png\" type=\"大众\"><i class=\"fa fa-user\"></i>速腾</a>""</li>""</ul>"   "</div>'''

HTML结构分析，

思路1，若想要获取每类汽车下面的具体汽车名字，python需要去解析HTML中的节点，有的汽车名，

1。裸露在'<li></li>'标签下，

2。有的在'<li><a></a></li>'标签下,

通过上面分析，我们构造的正则需要匹配上面2种情况，如下：

"<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>"

思路2，通过re模块的sub(),去除标签'<a></a>'，简化HTML中的节点。构造2个匹配规则：

用于匹配HTML中所有标签:'<a></a>' ,

"<a.*?>|</a>"

用于提取被简化后HTML中的数据：

"<li.*?>(\w+)</li>"

测试Python代码：

import reimport timedef reTest1(str2):    """        比较re模块下findall()        与findall()+sub()提取页面数据效率和复杂程度        """    #匹配规则    part = r"<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>"        #实际操作页面时，re.S,使通配符可以匹配换行符    ret = re.findall(part, str2, re.S)    for i in ret:        print(i[1])def reTest2(str2):    """        比较re模块下findall()        与findall()+sub()提取页面数据效率和复杂程度        """    #匹配规则    part = r"<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>"        #想法:通过re模块sub()方法去掉标签：<a></a>    #sub(RegExp, NewString, oldString, args)    #RegExp: 匹配规则    #NewString: 想要要替换的字符串    #oldString: 原始字符串    #args: re.S ...    subStr = re.sub("<a.*?>|</a>", "", str2, re.S)    #实际操作页面时，re.S,使通配符可以匹配换行符    ret = re.findall("<li.*?>(\w+)</li>", subStr, re.S)        for i in ret:        print(i)if __name__ == "__main__":    str2 = ("'''<div id=\"Car-list\">""<h2 class=\"title\">各种汽车</h2>""<p class=\"introduction\">""各种汽车列表"                                "</p>""<ul id=\"list\" class=\"list-group\">""<li data-view=\"2\">奥迪TT</li>""<li data-view=\"7\">""<a href=\"/2.png\" type=\"大众\">CC</a>""</li>""<li data-view=\"4\" class=\"active\">""<a href=\"/3.png\" type=\"宝马\">Mini</a>""</li>""<li data-view=\"6\"><a href=\"/4.png\" type=\"奥迪\">Q7</a></li>""<li data-view=\"5\"><a href=\"/5.png\" type=\"吉利\">金刚</a></li>""<li data-view=\"5\">""<a href=\"/6.png\" type=\"大众\"><i class=\"fa fa-user\"></i>速腾</a>""</li>""</ul>""</div>'''")        #测试１:find()    start1 = time.time()    reTest1(str2)    end1 = time.time()       print("*"*50)    #测试２，find()+sub()    start2 = time.time()    reTest2(str2)    end2 = time.time()        print("*"*50)    print("通过find()直接提取目标数据，所用时间Time1：")    print(end1 - start1)    print("")    print("通过sub() + find()提取目标数据，所用时间Time2：")    print(end2 - start2)    print("")    print("时间差：")    print("Time1 - Time2=", (end1-start1)-(end2-start2))

测试结果：



总结：
测试结果中，很明显，思路2比思路1提取数据效率明显高，re模块中各种方法组合一起有奇效
大量数据中，在保证精准的前提下，提升数去获取的效率也是很重要的