Powershell 简单爬虫示例 附,爬知乎示例 加代理
来源:互联网 发布:沙宝亮 知乎 编辑:程序博客网 时间:2024/06/02 00:01
Powershell 调用.Net实现爬虫
同样调用.Net可以实现更多的功能,比如写数据库,发邮件等
#>
$request=[System.Net.WebRequest]::Create('https://www.zhihu.com/question/53415194')
#建立一个请求。也可以用webclient这个类
$proxy=[System.Net.WebProxy]::new()
#创建代理
$proxy.Address="http://xxxxxxx.com:8080"
#代理地址
$proxy.Credentials=[System.Net.NetworkCredential]::new("User","Passwd")
#代理的账户密码
$request.Proxy=$proxy
#让请求使用代理
$response=$request.GetResponse()
#接受回复
$stream=$response.GetResponseStream()
#获取回复的数据
$enc=[System.Text.ASCIIEncoding]::GetEncoding("utf-8")
#定义对数据的编码
$en_stream=[System.IO.StreamReader]::new($stream,$enc)
#对数据进行编码
$data=$en_stream.ReadToEnd()
#$data
#获取编码后的数据
#以上部分开头加上param([Parameter(Mandatory=$True)]此处应有回车[string]$URL)打包一下就是个极简的网页代码获取
$rex="<title>`n*(.*?)`n*</title>"
#定义正则
$data -match $rex
#正则匹配
$result=$Matches[1] #>C:\Users\kai\Desktop\2.txt
#获得结果。结果中的True 当输出的时候是不存在的。
$result
- Powershell 简单爬虫示例 附,爬知乎示例 加代理
- Java简单爬虫示例
- python3 爬虫 简单示例
- 简单网络爬虫代码示例
- python 爬虫的简单示例
- 一个简单网络爬虫示例
- 最简单的代理示例
- java 代理模式简单示例
- 动态代理的简单示例
- Java 动态代理简单示例
- 简单的Java代理示例 静态代理
- MonkeyRunner_MonkeyRunner API简单使用帮助.(附示例)
- Go语言 简单的爬虫示例(1)
- 爬虫简单示例,用httpClient4.2.1实现
- 简单应用prototype的Ajax代理示例
- java动态代理设计模式简单示例
- java简单的动态代理示例
- IoC容器Autofac(2) - 一个简单示例(附demo源码)
- 第二次计数器作业
- JavaScript学习笔记5--数组
- 域名解析中A记录、CNAME、MX记录、NS记录的区别和联系
- LeetCode 468. Validate IP Address
- Android studio 无法显示引用对象的方法提示列表
- Powershell 简单爬虫示例 附,爬知乎示例 加代理
- 【工具】用hexo搭建博客
- mysql之date_format函数
- Qt之网络编程(一)
- Python链表的实现
- 十五周—将字符串格式化再输出
- 第25篇 研究WebRTC官网之生成工程文件(二)及用ninja进行编译
- C++遍历文件夹下的所有文件夹及文件
- NodeJS学习笔记一