Python査漏

来源：互联网发布：淘宝卖家发错快递编辑：程序博客网时间：2024/06/10 07:00

headers = {'User-Agent': 'my custom user agent', 'Cookie': 'haha'
爬取json

import jsonjson_obj = json.loads("{'key': 'value'}")  # 字符串到对象json_str = json.dumps(json_obj)            # 对象到字符串# json字符串的"[ ]"映射到Python的类型是list，"{ }"映射到Python则是dict

代理

proxies = {  "http": "http://192.168.31.1:3128",  "https": "http://10.10.1.10:1080",}requests.get("http://xlzd.me", proxies=proxies)

会话对象

session = requests.Session()session.post('http://xlzd.me/login', data={'user': 'xlzd', 'pass': 'mypassword'})

Session是在服务端保存的一个数据结构，用来跟踪用户的状态，这个数据可以保存在集群、数据库、文件中； Cookie是客户端保存用户信息的一种机制，用来记录用户的一些信息，也是实现Session的一种方式。最简单的一种反爬虫机制了，通过模拟浏览器的U-A

headers = {        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'    }

通过访问频度反爬换IP代理或识别验证码或者 time.sleep

阅读全文

0 0