采集（file_get_contents）

来源：互联网发布：电脑自动开关机软件编辑：程序博客网时间：2024/05/16 12:04

用file_get_contents进行采集

<?phpheader("content-type:text/html;charset=utf-8");$url="http://www.php7.com/dwzchd/aa.html";$file=file_get_contents($url);$pre='#<div class="mod-content clearfix show-content-bg">(.*)<div class="map-content clearfix">#isU';preg_match($pre,$file,$content);$pre1='#<a href="(.*)" .*">([^<>]*)</a>#isU';preg_match_all($pre1,$content[0],$content1);//print_r($content1);die;$count=count($content1[0]);//echo $count;die;$pre2='#<img src="(.*)" width="16" height="16" class="img1">#isU';preg_match_all($pre2,$content[0],$content2);foreach($content2[1] as $key => $val){    $content2[1][$key]= "http://www.php7.com/dwzchd/".$val;    //echo $path['basename'];die;    $img=file_get_contents($content2[1][$key]);    file_put_contents("public/".$key.".png",$img);}//print_r($content2[1]);die;echo "加载图片成功";

下载图片

$count1=count($content2[1]);for($i=0;$i<$count1;$i++){//$arr1[]['picture']=$content2[1][$i];$img=file_get_contents($content2[1][$i]);file_put_contents("public/".rand(1000,9999).'.png',$img);}

Snoopy是什么? Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。Snoopy的一些特点:1抓取网页的内容 fetch2 抓取网页的文本内容 (去除HTML标签) fetchtext3抓取网页的链接，表单 fetchlinks fetchform4 支持代理主机5支持基本的用户名/密码验证6 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)7支持浏览器重定向，并能控制重定向深度8能把网页中的链接扩展成高质量的url(默认)9提交数据并且获取返回值10 支持跟踪HTML框架11支持重定向的时候传递cookies

snoopy，

include "Snoopy.class.php";    $snoopy = new Snoopy;        $snoopy->fetchtext("http://www.php.net/");    print $snoopy->results;        $snoopy->fetchlinks("http://www.phpbuilder.com/");    print $snoopy->results;        $submit_url = "http://lnk.ispi.net/texis/scripts/msearch/netsearch.html";        $submit_vars["q"] = "amiga";    $submit_vars["submit"] = "Search!";    $submit_vars["searchhost"] = "Altavista";            $snoopy->submit($submit_url,$submit_vars);    print $snoopy->results;        $snoopy->maxframes=5;    $snoopy->fetch("http://www.ispi.net/");    echo "<PRE>\n";    echo htmlentities($snoopy->results[0]);    echo htmlentities($snoopy->results[1]);    echo htmlentities($snoopy->results[2]);    echo "</PRE>\n";    $snoopy->fetchform("http://www.altavista.com");    print $snoopy->results;

0 0