淘宝商品数据爬取
来源:互联网 发布:义乌疯狂淘宝李涛 编辑:程序博客网 时间:2024/04/28 12:19
import requestsimport redef getHTMLText(url): try: r = requests.get(url,timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def parsePage(ilt,html): #getHTMLText抓取下来html文件,parsePage函数在html文件中提取关键信息,ilt作为存储信息的列表 try: plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html) tlt = re.findall(r'\"raw_title\"\:\".*?\"',html) for i in range(len(plt)): price = eval(plt[i].split(':')[1]) title = eval(tlt[i].split(':')[1]) ilt.append([price,title]) except: print("") def printGoodsList(ilt): #打印出parsePage函数存储的信息 tplt = "{:4}\t{:8}\t{:16}" #规定3个字段大小 print(tplt.format('序号','价格','商品名称')) #先打出表头 count = 0 for g in ilt: #再打印出parsePage函数存储的信息,信息都已经存储在ilt列表中,g[0]、g[1]表示在ilt列表中第一、二个字段 count = count + 1 print(tplt.format(count,g[0],g[1])) def main(): #开始调用之前的函数 goods='纸尿裤' depth=2 #抓取到第3页 start_url = 'https://s.taobao.com/search?q=' + goods infoList = [] for i in range(depth): try: url = start_url + '&s' + str(44*i) html = getHTMLText(url) parsePage(infoList,html) except: continue printGoodsList(infoList) main()
阅读全文
0 0
- 淘宝商品数据爬取
- python selenium 爬取淘宝商品数据
- 天猫和淘宝商品数据爬取
- 淘宝商品评论爬取
- python-爬取淘宝商品
- Python3实例:爬取淘宝商品列表
- C#实现爬取淘宝商品
- 用Python爬取淘宝商品
- python_利用selenium 爬取淘宝商品
- python3实现爬取淘宝页面的商品的数据信息(selenium+pyquery+mongodb)
- Selenium 爬取淘宝数据
- python实现爬取千万淘宝商品的方法
- 爬取淘宝商品的价格(移动端网页)
- 【爬虫】爬取淘宝商品的列表信息
- python爬虫实现简单爬取淘宝商品demo
- python 爬取一页商品数据
- python爬虫 爬取淘宝网页数据
- python学习,爬取淘宝评论数据
- 使用OkhttpUtils作为网络框架同时,使用Glide加载Https图片
- 图像语义分割常用数据库
- 机器学习笔记三
- JQuery中$.ajax()方法参数详解
- Linux cscope 使用
- 淘宝商品数据爬取
- Android框架---Google官方Gson解析(上)
- UE4响应按键输入延迟效果
- 修改android studio菜单栏和代码的字体和大小
- 梦里Babel知多少(二)
- Python3.6 安装 statsmodels
- Makefile博客记录和命令记录
- ibatis默认实现分页与Oracle SQL分页性能比较
- 微信小程序如何做营销推广?