『Scrapy』登陆知乎中遇到的各种坑

来源：互联网发布：校园预防网络诈骗ppt 编辑：程序博客网时间：2024/06/02 06:58

1、在请求登陆页面时报错： 500 Internal Server Error

解决办法：在 Request() 中添加 header 信息

如：

# 重写爬虫类的方法，实现自定义请求    def start_requests(self):        return [Request("https://www.zhihu.com/#signin", headers=settings["HEADER"], cookies=settings["COOKIE"],                        meta={"cookiejar": 1}, callback=self.post_login)]

注：settings["HEADER"] 和 settings["COOKIe"] 可以通过浏览器获得

2、需要先获取 xsrf 的值

方法如下：

xsrf = Selector(response).xpath('//input[@name="_xsrf"]/@value').extract()[0]

3、不要在 COOKIE 中设置 xsrf ，由于知乎每次返回的 xsrf 都不同，所以每次都要重新获取，而如果在 COOKIE 中设置了，则即使获取了新的 xsrf ，也不会取代旧的

4、在 3 的基础上，不要在 COOKIE 中设置 xsrf，而是在 formdata 中设置

formdata={ "_xsrf": xsrf,           "email": "1905199415@qq.com",           "password": self.passwd,           "captcha_type": "cn",},

5、登陆时请求的 URL 不是 "https://www.zhihu.com/#signin"，而是请求 "https://www.zhihu.com/login/email"

6、formdata 关键字的获得技巧

首先在浏览器中打开网站登陆页面，然后打开按 F12(谷歌浏览器Chrome)，然后点击 NetWork ，然后输入用户名和故意输错的密码，再点击提交，然后在刷新出来的 URL 中找到有 Form Data 的 URL，并获得关键字

7、

0 0