Python 小甲鱼爬虫代理学习
来源:互联网 发布:三字头中华 知乎 编辑:程序博客网 时间:2024/04/28 19:47
今天学习了小甲鱼的IP地址代理,代码如下:
import urllib.requestimport randomurl ='http://ip.chinaz.com/'iplist=['27.18.152.111:8998','101.71.13.214:80','117.143.109.146:80']#一开始代理遇到问题,显示与主机无法连接,问题出在代理服务器的ip,最好去网上找最新的ip代理proxy_support=urllib.request.ProxyHandler({'https':random.choice(iplist)})opener=urllib.request.build_opener(proxy_support)opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]#防止反爬虫所以更改了为浏览器的访问
urllib.request.install_opener(opener)respose=urllib.request.urlopen(url)html=respose.read().decode('utf-8')print(html)
新手第一次发博客~~~~
阅读全文
0 0
- Python 小甲鱼爬虫代理学习
- python 基础学习(小甲鱼)
- 学习小甲鱼python总结1
- 小甲鱼学python
- 小甲鱼学python
- 小甲鱼学python
- 小甲鱼python 基础
- Python--小甲鱼学习笔记--第32课:异常处理
- Python--小甲鱼学习笔记--第25课:初学dict()
- 【小甲鱼】001初识Python
- 小甲鱼python视频教程053~055论一只爬虫的自我修养
- 小甲鱼pyhton第55课 代理
- 《小甲鱼—零基础入门学习python》学习过程(一)
- 小甲鱼Python第六讲课后题
- 小甲鱼Python第八讲课后题
- 小甲鱼Python第九讲课后题
- 小甲鱼Python第十讲课后题
- 小甲鱼Python第十二讲课后题
- [小技巧]如何让emoji存放到数据库中
- H5基础标签
- 使用maven搭建Spring整合cxf
- 红黑二叉查找树的插入
- 编程总结2
- Python 小甲鱼爬虫代理学习
- 简单工厂、工厂方法、抽象工厂
- mybatis--缓存(一级和二级缓存)
- 文章标题
- CentOS7使用iptables防火墙开放端口
- postfix
- 进程和线程的区别
- leetcode 计算二叉树中出现最多的元素,Python实现
- JScript