四脚猫php视频下载 检测一个网页上的链接是否都可访问(练一练)
来源:互联网 发布:淘宝网无法正常显示 编辑:程序博客网 时间:2024/05/16 12:12
思路:
1、 首先是采用curl的方式采集到这个网页的内容
2、 用正则的方式或者html解析器把url分析出来3、 对于每一个url,进行请求,如果状态不是2xx、3xx等就定义为异常。
打个小广告:四脚猫视频下载,四脚猫培训视频下载,四脚猫php视频下载,四脚猫php百度云视频下载,请联系本人V43599939
<?phpclass http_stat{ public $url; private $document; private $links; private $domain; private $links_stat; public function get_all_link_status($url){ if($this->__get_document($url)!=false){ $this->url = $url; $this->document = $this->__get_document($this->url); $this->links = $this->__strip_links($this->document); foreach($this->links as $val){ if($val == '#'){ $res['empty'] +=1; }elseif(strpos($val,'http')!==false){ $state_num = $this->__get_http_status($val); $res[$state_num][] = $val; }else{ $url = $this->url.$val; $state_num = $this->__get_http_status($url); $res[$state_num][] = $val; } } return $res; } } private function __get_http_status($s_url){ $curl = curl_init(); curl_setopt($curl,CURLOPT_URL,$s_url); curl_setopt($curl,CURLOPT_HEADER,1); curl_setopt($curl,CURLOPT_NOBODY,1); curl_setopt($curl,CURLOPT_RETURNTRANSFER,1); curl_setopt($curl,CURLOPT_TIMEOUT,30); curl_exec($curl); $rtn= curl_getinfo($curl,CURLINFO_HTTP_CODE); curl_close($curl); return $rtn; } private function __get_document($url){ $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); $response = curl_exec($ch); if(curl_errno($ch)) { print curl_error($ch); return false; } curl_close($ch); return $response; } private function __strip_links($document){ preg_match_all('|<a(.*?)href="(.*?)"(.*?)>(.*?)</a>|i', $document, $links); while(list($key,$val) = each($links[2])){ if(!empty($val))$match[] = $val; } return $match; }}$t = new http_stat();$res = $t->get_all_link_status("http://www.sina.com.cn");var_dump($res);
阅读全文
1 0
- 四脚猫php视频下载 检测一个网页上的链接是否都可访问(练一练)
- winform下如何检测你一个给定的网址(Ull),是否可访问?(网友帖子,仅供参考)
- java下载网页链接上的图片
- 如何下载网页上的视频
- 下载网页上的各种视频只需四步
- Firefox浏览器下载网页上的视频
- paip.点击每个网页链接都提示下载的解决。
- Java爬虫实战(二):抓取一个视频网站上2015年所有电影的下载链接
- 如何下载网页上不能下载的视频
- python检测网页是否有日常链接
- php检测网页是否被百度收录的函数代码
- 可下载目标网页上的所有图片代码
- 如何把手机app的视频下载到手机上?网页上的视频怎么下载?
- 怎样获取网页视频下载链接
- 如何下载网页上自己喜欢的视频
- 网页上不带下载链接但可播放的歌曲可以如何下载呢?
- C#实现的Rabin-Miller检测素数算法,可检测一个数是否为素数(质数)
- php检测是否是手机访问
- Mysql系列——数据库运维(1)——数据库版本介绍及安装-yum
- Qt 学习之路 2(78):QML 基本元素
- 凸包问题的回溯操作
- char str1[]="abc"; char str2[]="abc";str1与str2不相等,为什么
- Printf格式输出详解
- 四脚猫php视频下载 检测一个网页上的链接是否都可访问(练一练)
- ubuntu安装pip
- java生成指定范围的随机数
- 【JavaMailWeb】用户注册通过邮箱激活案例
- Ionic3学习笔记(四)修改返回按钮文字、颜色
- 安卓安装及配置
- cf869C The Intriguing Obsession
- Qt 学习之路 2(79):QML 组件
- IO Streams:扫描