python3下几个淘宝、天猫、京东爬虫实例。(价格、销量、评论等)

来源:互联网 发布:中山大学网络不好 编辑:程序博客网 时间:2024/05/01 20:13

Spiders on Tianmao Taobao JingDong

暂时只放两个

github地址https://github.com/lidongone/Spider_on_Tianmao_and_Taobao

  • 京东、天猫、淘宝单功能爬虫Demo
  • 京东评论多线程爬取,并存入json

2014年5月29日 10:44:52

====================测试结果=====================

商品ID 价格(原价) 1星 2星 3星 4星 5星 评论数 平均评分 好评数 好评率 中评数 中评率 差评数 差评率 :

967821 3199.00(3800.00) 19 7 35 175 556 792 5 731 0.924 42 0.053 19 0.023

本次京东爬虫执行时间约为: 0.48 s

商品ID、价格、评论数、评分、月销量、总库存:

39086934885 85.00 0 4.6 3 1315

本次淘宝爬虫执行时间约为: 1.13 s

商品ID、价格、评论数、评分、月销量、总库存:

36879577205 null 3730 4.8 3911 4309

本次天猫爬虫执行时间约为: 10.32 s

下次补充多线程爬另2个电商网站的评论内容,以及天猫淘宝的根据店铺ID爬取所有产品


0 0
原创粉丝点击