php+snoopy 数据采集

PHP采集库
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。


Snoopy的特点：
1、抓取网页的内容 fetch
2、抓取网页的文本内容 (去除HTML标签) fetchtext
3、抓取网页的链接，表单 fetchlinks fetchform
4、支持代理主机
5、支持基本的用户名/密码验证
6、支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
7、支持浏览器重定向，并能控制重定向深度
8、能把网页中的链接扩展成高质量的url(默认)
9、提交数据并且获取返回值
10、支持跟踪HTML框架
11、支持重定向的时候传递cookies


获取指定网页的内容
<?php
$url = "http://www.codesky.net"; 
include("lib/Snoopy.class.php"); 
$snoopy = new Snoopy; 
$snoopy->fetch($url); //获取所有内容 
$content=$snoopy->results; //显示结果 
// print_r($content);


//获取到所有的文本
$snoopy->fetchtext('http://tech.163.com/internet');//获取链接 
$text=$snoopy->results;
print_r($text);


//获取所有的链接
$snoopy->fetchlinks; //获取链接 
$link=$snoopy->results;
print_r($link); 
?>


接下来我们来伪装ip,伪装浏览器 伪装session 
注意： 这里伪装ip ，其实是伪装http头, 所以一般的通过 REMOTE_ADDR 获取的ip是伪装不了， 
反而那些通过http头来获取ip的(可以防止代理的那种) 就可以自己来制造ip。 






<?php
include("lib/Snoopy.class.php"); 
$snoopy = new Snoopy; 
$formvars["username"] = "admin"; 
$formvars["pwd"] = "admin"; 
$action = "http://www.codesky.net"; 


$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //伪装sessionid 
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //伪装浏览器 
$snoopy->referer = "http://s.jb51.net"; //伪装来源页地址 http_referer 
$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http头信息 
$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //伪装ip 
$snoopy->submit($action,$formvars); 
echo $snoopy->results; 
?>