Python urllib2.HTTPError: HTTP Error 304: Not Modified

来源：互联网发布：js跨域请求的问题编辑：程序博客网时间：2024/05/15 18:39

做爬虫的时候很常见的一个错误就是urllib2.HTTPError: HTTP Error 304: Not Modified，我的解决方法是为urllib2添加headers，如下：

headers = {        'Accept': 'application/json, text/javascript, */*; q=0.01',        'Accept-Encoding': 'gzip, deflate, sdch',        'Accept-Language': 'zh-CN,zh;q=0.8',        'Connection': 'keep-alive',        # 'Cookie': '__utma=156575163.123503720.1472017757.1472017757.1472017757.1; __utmz=156575163.1472017757.1.1.utmcsr=10jqka.com.cn|utmccn=(referral)|utmcmd=referral|utmcct=/; spversion=20130314; historystock=000001%7C*%7C600000%7C*%7C000002; Hm_lvt_22a3c65fd214b0d5fd3a923be29458c7=1472017768,1472101858; Hm_lpvt_22a3c65fd214b0d5fd3a923be29458c7=1472103822; Hm_lvt_f79b64788a4e377c608617fba4c736e2=1472017778,1472101858; Hm_lpvt_f79b64788a4e377c608617fba4c736e2=1472103822; Hm_lvt_78c58f01938e4d85eaf619eae71b4ed1=1472017755,1472101858; Hm_lpvt_78c58f01938e4d85eaf619eae71b4ed1=1472103822; Hm_lvt_3c8ecbfa472e76b0340d7a701a04197e=1472017775,1472101868; Hm_lpvt_3c8ecbfa472e76b0340d7a701a04197e=1472103828',        'Host': 'stockpage.10jqka.com.cn',        'Referer': 'http://stockpage.10jqka.com.cn/000001/bonus/',        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',        'X-Requested-With': 'XMLHttpRequest'    }

其中cookies没有太多作用，可以不要，以上信息是直接重google的network中国复制下来的，使用如下

request = urllib2.Request(url, headers=headers)response = urllib2.urlopen(request)

可能还有其它的原因，遇到时候再说吧！

0 0