PHP + curl 实现 http 或 https 抓取数据:
来源:互联网 发布:金融行业大数据特点 编辑:程序博客网 时间:2024/05/16 17:17
PHP + curl 实现 http 或 https 抓取数据:
/*** 抓取数据 https 或 http 形式* @param $url 链接 * @param $data 参数* @return mixed 返回数据*/private function curlS($url, $data){ $UserAgent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506; .NET CLR 3.5.21022; .NET CLR 1.0.3705; .NET CLR 1.1.4322)'; $curl = curl_init(); // 启动一个CURL会话 curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址 curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查 curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 2); // 从证书中检查SSL加密算法是否存在 curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent/*$_SERVER['HTTP_USER_AGENT']*/); // 模拟用户使用的浏览器 if (ini_get('open_basedir') == '' && ini_get('safe_mode' == 'Off')) { curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); } //curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转 curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求 curl_setopt($curl, CURLOPT_POSTFIELDS, $data); // Post提交的数据包 curl_setopt($curl, CURLOPT_TIMEOUT, 200); // 设置超时限制防止死循环 curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回 $tmpInfo = curl_exec($curl); // 执行操作 if (curl_errno($curl)) { echo 'Errno'.curl_error($curl);//捕抓异常 } curl_close($curl); // 关闭CURL会话 return $tmpInfo; // 返回数据 }
阅读全文
0 0
- PHP + curl 实现 http 或 https 抓取数据:
- php curl http https
- php curl 抓取数据
- php curl 代理 抓取数据
- PHP使用cURL抓取数据
- php之curl实现http与https请求的方法
- PHP之curl实现http与https请求的
- php之curl实现http与https请求的方法
- PHP实现抓取HTTPS内容
- curl抓取https网页
- PHP curl 模拟http https请求
- php curl请求http和https
- php 数据抓取curl+simple_html_dom总结
- PHP CURL模拟登录抓取数据
- Charles抓取http与https数据
- cURL实现模拟登陆+抓取数据
- php用curl实现https双向认证
- php curl 多线程抓取
- Kaggle网站流量预测任务第一名解决方案:从模型到代码详解时序预测
- python(Django之html模板继承)
- 表示和描述
- 正则表达式‘?’用法
- 【速速收藏】Java开发者的必备工具
- PHP + curl 实现 http 或 https 抓取数据:
- CentOS7下设置MySQL支持中文
- 首发:友盟2015年Q2、Q3中国移动互联网趋势报告
- 已完结 | PMCAFF深度报告:《 典典养车如何在一年内做到600万用户、三轮融资、覆盖40城市》
- Chrome浏览器扩展开发系列之二:Google Chrome浏览器扩展的调试
- LUOGU P2731 骑马修栅栏 Riding the Fences
- Linux-pxe~install网络安装
- [LUOGU1000]超级玛丽游戏
- 插入数据到MySql数据库