php解析html类库simple_html_dom(爬虫相关)
来源:互联网 发布:软件项目管理课程设计 编辑:程序博客网 时间:2024/06/06 19:26
下载地址:https://github.com/samacs/simple_html_dom
解析器不仅仅只是帮助我们验证html文档;更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器,通过元素的id,class,tag等等来查找定位;同时还提供添加、删除、修改文档树的功能。当然,这样一款强大的html Dom解析器也不是尽善尽美;在使用的过程中需要十分小心内存消耗的情况。不过,不要担心;本文中,笔者在最后会为各位介绍如何避免消耗过多的内存。
开始使用
上传类文件以后,有三种方式调用这个类:
从url中加载html文档
从字符串中加载html文档
从文件中加载html文档
查找html元素
可以使用find函数来查找html文档中的元素。返回的结果是一个包含了对象的数组。我们使用HTML DOM解析类中的函数来访问这些对象,下面给出几个示例:
还可以使用类似jQuery的选择器来查找定位元素:
解析器支持对子元素的查找
如果你觉得这样用起来麻烦,使用内置函数可以轻松定位元素的父元素、子元素与相邻元素
元素属性操作
使用简单的正则表达式来操作属性选择器。
[attribute] – 选择包含某属性的html元素
[attribute=value] – 选择所有指定值属性的html元素
[attribute!=value]- 选择所有非指定值属性的html元素
[attribute^=value] -选择所有指定值开头属性的html元素
[attribute$=value] 选择所有指定值结尾属性的html元素
[attribute*=value] -选择所有包含指定值属性的html元素
在解析器中调用元素属性
在DOM中元素属性也是对象:
或者:
每个对象都有4个基本对象属性:
tag – 返回html标签名
innertext – 返回innerHTML
outertext – 返回outerHTML
plaintext – 返回html标签中的文本
在解析器中编辑元素
编辑元素属性的用法和调用它们是类似的:
解析器中没有专门的方法来添加、删除元素,不过可以变通一下使用:
保存修改后的html DOM文档也非常简单:
如何避免解析器消耗过多内存
在本文的开篇中,笔者就提到了Simple HTML DOM解析器消耗内存过多的问题。如果php脚本占用内存太多,会导致网站停止响应等一系列严重的问题。解决的方法也很简单,在解析器加载html文档并使用完成后,记得清理掉这个对象就可以了。当然,也不要把问题看得太严重了。如果只是加载了2、3个文档,清理或不清理是没有多大区别的。当你加载了5个10个甚至更多的文档的时候,用完一个就清理一下内存
解析器不仅仅只是帮助我们验证html文档;更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器,通过元素的id,class,tag等等来查找定位;同时还提供添加、删除、修改文档树的功能。当然,这样一款强大的html Dom解析器也不是尽善尽美;在使用的过程中需要十分小心内存消耗的情况。不过,不要担心;本文中,笔者在最后会为各位介绍如何避免消耗过多的内存。
开始使用
上传类文件以后,有三种方式调用这个类:
从url中加载html文档
从字符串中加载html文档
从文件中加载html文档
如果从字符串加载html文档,需要先从网络上下载。建议使用CURL来抓取html文档并加载DOM中。
PHP Simple HTML DOM Parser提供了3种方式来创建DOM对象 :
查找html元素
可以使用find函数来查找html文档中的元素。返回的结果是一个包含了对象的数组。我们使用HTML DOM解析类中的函数来访问这些对象,下面给出几个示例:
还可以使用类似jQuery的选择器来查找定位元素:
元素属性操作
使用简单的正则表达式来操作属性选择器。
[attribute] – 选择包含某属性的html元素
[attribute=value] – 选择所有指定值属性的html元素
[attribute!=value]- 选择所有非指定值属性的html元素
[attribute^=value] -选择所有指定值开头属性的html元素
[attribute$=value] 选择所有指定值结尾属性的html元素
[attribute*=value] -选择所有包含指定值属性的html元素
在解析器中调用元素属性
在DOM中元素属性也是对象:
或者:
tag – 返回html标签名
innertext – 返回innerHTML
outertext – 返回outerHTML
plaintext – 返回html标签中的文本
在解析器中编辑元素
编辑元素属性的用法和调用它们是类似的:
保存修改后的html DOM文档也非常简单:
如何避免解析器消耗过多内存
在本文的开篇中,笔者就提到了Simple HTML DOM解析器消耗内存过多的问题。如果php脚本占用内存太多,会导致网站停止响应等一系列严重的问题。解决的方法也很简单,在解析器加载html文档并使用完成后,记得清理掉这个对象就可以了。当然,也不要把问题看得太严重了。如果只是加载了2、3个文档,清理或不清理是没有多大区别的。当你加载了5个10个甚至更多的文档的时候,用完一个就清理一下内存
一个实例:
- 4.find 方法详细介绍</p><p>
- find ( string $selector [, int $index] )
- // Find all anchors, returns a array of element objects a标签数组
- $ret = $html->find('a');</p><p> // Find (N)th anchor, returns element object or null if not found (zero based)第一个a标签
- $ret = $html->find('a', 0);</p><p> // Find lastest anchor, returns element object or null if not found (zero based)最后一个a标签
- $ret = $html->find('a', -1); </p><p> // Find all <div> with the id attribute
- $ret = $html->find('div[id]');</p><p> // Find all <div> which attribute id=foo
- $ret = $html->find('div[id=foo]'); </p><p>
- // Find all element which id=foo
- $ret = $html->find('#foo');</p><p> // Find all element which class=foo
- $ret = $html->find('.foo');</p><p> // Find all element has attribute id
- $ret = $html->find('*[id]'); </p><p> // Find all anchors and images a标签与img标签数组
- $ret = $html->find('a, img'); </p><p> // Find all anchors and images with the "title" attribute
- $ret = $html->find('a[title], img[title]');</p><p>
- // Find all <li> in <ul>
- $es = $html->find('ul li'); ul标签下的li标签数组</p><p> // Find Nested <div> tags
- $es = $html->find('div div div'); div标签下div标签下div标签数组</p><p> // Find all <td> in <table> which class=hello
- $es = $html->find('table.hello td'); table标签下td标签数组</p><p> // Find all td tags with attribite align=center in table tags
- $es = $html->find(''table td[align=center]'); </p><p>
- 5.Element 的方法
- $e = $html->find("div", 0); //$e 所拥有的方法如下表所示
- Attribute Name Usage
- $e->tag 标签
- $e->outertext 外文本
- $e->innertext 内文本
- $e->plaintext 纯文本 </p><p> </p><p> // Example
- $html = str_get_html("<div>foo <b>bar</b></div>");
- echo $e->tag; // Returns: " div"
- echo $e->outertext; // Returns: " <div>foo <b>bar</b></div>"
- echo $e->innertext; // Returns: " foo <b>bar</b>"
- echo $e->plaintext; // Returns: " foo bar"</p><p>
- 6.DOM traversing 方法
- Method Description
- mixed$e->children ( [int $index] ) 子元素
- element$e->parent () 父元素
- element$e->first_child () 第一个子元素
- element$e->last_child () 最后一个子元素
- element$e->next_sibling () 后一个兄弟元素
- element$e->prev_sibling () 前一个兄弟元素 </p><p>
- // Example
- echo $html->find("#div1", 0)->children(1)->children(1)->children(2)->id;
- // or
- echo $html->getElementById("div1")->childNodes(1)->childNodes(1)->childNodes(2)->getAttribute('id');
- </p>
阅读全文
0 0
- php解析html类库simple_html_dom(爬虫相关)
- php解析html类库simple_html_dom(爬虫相关)
- php解析html类库simple_html_dom
- php解析html类库simple_html_dom
- php simple_html_dom html 解析
- php解析html类库simple_html_dom(详细介绍)
- [置顶] php解析html类库simple_html_dom
- php html文档解析器simple_html_dom
- 类jquery的php解析html dom库,simple_html_dom
- 类jquery的php解析html库,simple_html_dom
- php网页解析器的应用 simple_html_dom
- 爬虫相关(2)---- 解析HTML源码
- php 自制基于simple_html_dom的爬虫一只v1.0
- php利用simple_html_dom类,获取页面内容,充当爬虫角色
- php插件 Simple_HTML_DOM 用DOM方式处理HTML
- php simple_html_dom网页采集
- php爬虫教程,教你用php写爬虫源码,批量解析海量html网页
- HTML解析,网络爬虫
- Ruby中map,reduce,reject,select,collect,each使用介绍
- 前端起步01-页面元素的初始化
- Android APK反编译、重打包、重签名
- 透彻分析C/C++中memset函数
- javascript中Ajax的简单封装
- php解析html类库simple_html_dom(爬虫相关)
- react-native 使用Navigation跳转界面
- Faster RCNN代码理解(Python)
- 将Java源码打成jar包
- java 多线程学习
- QT5 动态链接库的创建和使用(QT自己做动态库给自己使用)
- pdo连接数据库
- Object Pascal 关键字
- 为了更高效的开发代码,这里列出了一些webstorm的快捷键和zencoding