python爬虫淘宝比价

来源:互联网 发布:lms算法原理及推导 编辑:程序博客网 时间:2024/05/08 09:53
首先是源码
import reimport requestsdef getHTMLText(url):    try:    r=requests.get(url,timeout=30)    r.raise_for_status()    r.encoding=r.apparent_encoding    return r.text    except:    return ""def parsePage(ilt,html):    try:    plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)    tlt=re.findall(r'\"raw_title\"\:\".*?\"',html)    for i in range(len(plt)):    price=eval(plt[i].split(':')[1])    title=eval(tlt[i].split(':')[1])    ilt.append([price,title])    except:    print("")def printGoodsList(ilt):tplt="{:4}\t{:8}\t{:50}"print(tplt.format("序号","价格","商品名称"))count=0for g in ilt:count =count+1print(tplt.format(count,g[0],g[1]))def main():goods='枕头'depth=2start_url="https://s.taobao.com/search?q="+goodsinfoList=[]for i in range(depth):try:url=start_url+'&s='+str(44*i)html=getHTMLText(url)parsePage(infoList,html)except:continueprintGoodsList(infoList)main()

今天在安装requests库时还遇到了一个小问题,就是pip在之前安装可以运行,但是今天却运行不了,通过查找资料和多番尝试,最终我发现,是因为在之前因为 同时安装了python2.7和python3.6,我修改了python的EXE文件的名字。于是我把Python的EXE文件名改回去,再次尝试发现可以运行。