PHP数据采集

什么是数据采集

几年前，除几个大门户网站以外，基本上都是个人网站。资讯分散，内容也并不多。几年后，商业网站越来越多，资讯需要大量集中，即便有足够的财力聘请大量的文字编辑，也未必能满足无时无刻变化的信息资源。

咨讯采集已成了让所有网站经营者青睐的技术。本文针对PHP语言简单谈一些数据采集的知识。

首先说资讯结构，咨讯结构一般为[分类标题式]，例如搜狐新闻分类为：

 

排行 | 国内 | 国际 | 社会 | 军事 | 日月谈 | 地方 | 在线阅读 访谈 | 专题 | 图吧 | 论坛 | 文字版 | 导航 | RSS | 视频

 

进入国内新闻：我们会看到最新的20条新闻标题列表

 

·阿扁宣称大陆要并吞台湾 国台办评其未停止台独 ·李维一：台借汪老丧礼搞权谋 两岸包机应常态化 ·中国铁路第六次大提速：10月1日前全部准备到位 ·淮南“1-5”煤与瓦斯突出事故仍有12名工人被困 ·西安经济在副省级城市排倒数 一把手提发展要点 ·高法称要让百姓告状有门　统一行使死刑核准权 ·我国驻马来西亚副领事遭当地男子无辜殴打受伤 ·国台办评陈水扁元旦讲话 “台独”分裂并未停止 ·新疆雪灾造成22万人被困(图) 未来10天持续降雪 ·去年中国向20国提供援助 雪中送炭获得国际盛赞 ·北京06年区县两会开幕 委员建议洗车业全用中水 ·北京西站春运加开54对临客 上海票价21日起涨价 ·深发展否认前行长周林被拘捕 报道严重失实(图) ·深圳出台新年1号文件：大学生可以个人身份入户 ·教育部实施即时动态监管 监控直属高校资金流动 ·湖北大学原副校长受贿案庭审 夫妻对视泪双流

 

我们需要对每个分类下的新闻标题列表以及它们的内容作自动收集，就是最简单新闻采集器。

二.    得到网页内容

(1).   网页内容

得到新闻网页内容可以使用多种函数，例如：fopen(),file_get_contents();

<?

$doc = file_get_contents("http://news.sohu.com/n241303906.shtml");

echo $doc;

?>

(2).   切割网页内容

可以使用以下函数切割网页中的内容，大意是把网页按照两个标签切成三部分，取中间的部分。例如ABCDEF，我们知道C、E可以取D。

<?php

function get_sub_content($str, $start, $end){

        if ( $start == '' || $end == '' ){

               return;

        }

        $str = explode($start, $str);

        $str = explode($end, $str[1]);

        return $str[0];

}

?>

三.    分析文章列表

(1).   布局

文章列表的大概布局如下：

标题 标题 标题   [ 翻页 上一页 <1 2 3> 下一页 ]  [ 更多>>> ]

 

使用函数get_sub_content()找到html中的文章列表，所以采集的很多地方需要用到它，我们最好把它放在公用函数库里面供更多页面调用。使用正则表达式得到每一个标题。我也封装好了一个函数：

       //取得代码中所有链接

        function get_all_url($code){

                preg_match_all('/<a\s+href=["|\']?([^>"\' ]+)["|\']?\s*[^>]*>([^>]+)<\/a>/i',$code,$arr);

               return array('name'=>$arr[2],'url'=>$arr[1]);

        }

 

当你去的当前页的所有文章后，可以进一步对翻页和更多这样常见的功能进行分析。

四.    分析文章本身

(1).   布局

一般新闻都包含以下内容：

标题 作者 日期 来源 正文 [附件]

 

例如：

 

深发展否认前行长周林被拘捕 报道严重失实(图)   作者：小周时间：2006年01月06日09:54 来源：搜狐新闻   中国台湾网1月6日消息据台媒报道，中国国民党中央政策会副执行长张荣恭5日说，陈水扁5日再发谬论批评大陆，就是希望借两岸气氛重新紧绷、拉抬低落的声望。而国民党主席马英九在获悉陈水扁此文后也表示，陈水扁的言论是错误的，让许多台湾民众都无法同意。 后面略…

 

(2).   提取信息

我们使用get_sub_content ()函数，使用作者：和时间：进行切割后得到的就是小周。代码如下：

<?

//$doc应该是从页面中读取到的全部网页内容。

$author = get_sub_content($doc, "作者：", "时间：");

$author = trim($author);

echo $author;

?>

输入结果为：

小周

 

标题前后没有特殊标志，我们很难判断，但是标题可以从新闻标题列表中得到。所以新闻页面中只提取作者，日期，来源，内容即可。

项目	开始标志	结束标志	内容
作者	作者：	时间：	小周
日期	时间：	来源：	2006年01月06日09:54
来源	来源：	[空格]	搜狐新闻

 

日期提取出来后要经过处理，而且你要想想怎样才能应付不同网站的日期格式。

关于内容的提取要具体分析页面内的html。

例如，www.phpe.net 某文章的HTML代码片断如下：

        <tr><td style="word-wrap:break-word; font-size: 14px; line-height: 160%"><P><SPAN style=\"FONT-SIZE: 9pt; LINE-HEIGHT: 15pt\">PHP中的字符串操作功能是比较多的,重要的有以下这些: &nbsp; <BR><BR><STRONG>(1)echo,print,printf,sprintf&nbsp; <BR></STRONG>前两个函数是输出字符串.字符串中如果有变量名则被替换成其值. &nbsp;

<td style="word-wrap:break-word; font-size: 14px; line-height: 160%"> 一句我用Ctrl+F搜过了在全文只出现过一次，所以我可以将这句作为内容的开始标志，我们也可以找到文章明显的结束标志，如下：

    </script>

    </td></tr>

        <tr><td align="RIGHT">(责任编辑:超越PHP)</td></tr>

      </table>

 

<td align="RIGHT">(责任编辑:超越PHP)</td></tr>这句在全html中也出现了只一次。我们用上面自定义的函数get_sub_content()就可以得到文章的内容。

(3).   关于附件

如果我们只采集了文章内容，而这篇文章中有图片和链接，就很难完美了。因为你采集到自己站点中，链接会失效，图片也不一定能出来，除非作者用的绝对路径，所以你进一步要对文章中出现的所有链接和图片进行分析，并下载图片。

如果链接是特殊后缀如.doc, .zip, .tgz等还要对相应附件进行下载。然后统一改变成相对于你站点的路径替换到文章里。一般附件我们使用时间作为文件名，来保证不重名。当然要精确到微秒级。

 

五.    总结

采集器要做的通用，不能仅仅只能采集一个站点，而应该可以对多个站点进行采集，同时要针对自己网站现有的分类和采集分类作对应。如果想做的更好一些，应该可以提供给第三方使用。否则只能算网站的采集功能，而采集器应该是一个完整产品。