C++ Html解析器-HtmlCxx用户手册和源代码解析

======================================================
注：本文源代码点此下载
======================================================

htmlcxx用户手册

中科院计算所网络数据科学与工程研究中心

信息抽取小组

[e-mail]

1.1 简介

htmlcxx是一款简洁的,非验证式的,用c++编写的css1和html解析器。和其他的几款html解析器相比,它具有以下的几个特点:

使用由kasperpeeters编写的强大的tree.h库文件,可以实现类似stl的dom树遍历和导航。

可以通过解析后生成的树,逐字节地重新生成原始文档。

打包好的css解析器。

额外的属性解析功能

看似很像c++代码的c++代码(其实已不再是c++了)

原始文档中的tags/elements的偏移值都存储在dom树的节点当中。

htmlcxx的解析策略其实是尝试模仿mozilla firefox(http://www.mozilla.org)的模式。因此你应当尝试去解析那些由firefox所生成的文档。然而不同于firefox浏览器,htmlcxx并不会将一些原本不存在的东西加入到所生成的文档当中去。因此,在将生成树进行序列化的时候,能够完全地还原和原始byte大小一样的html文档。

1.2 快速上手

下面我们通过一个简单的小例子来让大家对如何使用htmlcxx进行开发有一个快速,直观地了解。

1.安装环境

操作系统: ubuntu 10.10 (32-bit linux)

编译环境: gcc 4.4.4

htmlcxx版本: 0.85

2.源代码下载

各个版本的htmlcxx可以从著名的开源代码网站sourceforge上下载。由于htmlcxx已经于2005年停止更新,我们采用的是其最后更新的版本0.85。

除此之外,使用ubuntu的用户还可以直接在命令行下使用以下命令很方便地进行安装:

sudo apt-get install htmlcxx

安装好后,可以到usr/include/htmlcxx目录下进行查看,其中包含了一些可以使用的功能的.h文件。

3.编写小例子

在随意一个文件夹下新建一个文件,如temp.cc,之后打开该文件,并输入如下代码:

#include

#include

#include

#include

#include

#include

#include

using namespace std;

using namespace htmlcxx;

int main()

{

//解析一段html代码

string html ="hey";

html::parserdom parser;

tree dom = parser.parsetree(html);

//输出整棵dom树

cout::iterator it = dom.begin();

tree::iterator end = dom.end();

for(; it != end; ++it)

{

if (strcasecmp(it->tagname().c_str(), "a") == 0)

{

it->parseattributes();

cout attribute("href").second istag()) && (!it->iscomment()))

{

cout text();

}

}

cout

将代码编写好保存后,打开控制台进入temp.cc的目录下,输入以下的命令使用gcc将其编译:

gcc –o temp temp.cc –iusr/include/htmlcxx-lhtmlcxx

请注意上面这段代码中的第一个-i是大写的i,第二个-l是小写的l。

编译生成可执行文件temp,直接输入./temp运行,程序如果正常运行则应当出现如下的结果:

至此我们的htmlcxx已经可以成功地使用和运行了!

二.源代码分析

2.1 简介

代码分为html和css两个部分,我们主要分析html部分。比较复杂的是tree.h文件,里面不但包含了对树的结构定义,而且包含了许多遍历算法。该文件的说明可以在http://tree.phi-sci.com/documentation.html上找到。在学习htmlcxx的源代码的时候,要注意到的一点就是不仅应学习它的原理,更因为它引用了开源的树结构代码tree.h,优秀的编码风格贯穿始终,代码十分工整和简洁,广泛适用c++的template机制使其可扩展性非常强,为我们学习c++ 语言编程提供了良好的示范教材。

由于其注释代码内部较少,下面这段源代码解析主要为方便大家理解。

2.2 parserdom.h(.cc)

我们首先来分析parserdom.h这个文件。上面的例子中我们就用到了这个头文件来对html文档进行解析。这里我们需要说明,一般的xml格式文档(包括html文档)解析有两种方式,即dom方式和sax方式,下面简要介绍一下这两种方式的异同。

dom方式:

dom(documentobject model 文档对象模型)方式,从名字上来看就是将xml格式的文档读至内存,并为每个节点建立一个对象,之后我们可以通过操作对象的方式来对节点进行操作,即是将xml的节点映射到了内存中的一系列对象之上。

该方法的优点是在建立好模型后的查询和修改速度较快。

该方法的缺点是在处理之前需要将整个xml文档全部读入内存进行解析,并根据xml树生成一个对象模型,当文档很大时,dom方式就会突现出其肿大的特性,一个300kb的xml文档可以导致ram或者虚拟内存中3000000kb的dom树模型。

sax方式:

sax(simple apifor xml)是一种基于事件(event)的xml处理模式,该模式和dom相反,不需要将整个xml树读入内存后再进行处理,而是将xml文档作为一个输入“流”来处理,在处理该流的时候会触发很多事件,如sax解析器在处理文档第一个字符的时候,发现是文档的开始,就会触发start doucment事件,用户可以重载这个事件函数来对该事件进行相应处理。又如当遇到新的节点时,则会触发start element事件,此时我们可以对该节点名进行一些判断,并作出相应的处理等。

该方法的优点是不用等待所有数据都被处理后再开始分析,且不需要将整个文档都装入内存中,这对大文档来说是个巨大的优点。一般来说sax要比dom方式快很多。

该方法的缺点是由于在处理过程中没有储存任何数据,因此在处理过程中不能够对数据流进行后移,或者回溯等操作。

在熟悉了这两种方式之后,我们可以看到在parserdom.h文件中include了parsersax.h文件,这是由于在htmlcxx中,dom方式是基于sax方式之上的,关于这点我们之后再说。

首先我们来看一下parserdom.h中parserdom类的几个方法和数据成员的声明。

class parserdom : public parsersax

{

public:

parserdom(){}//构造方法

~parserdom(){}//析构方法

consttree &parsetree(const std::string &html);//通过string字符串来解析树

consttree &gettree()//返回(解析好的)数据成员mhtmltree

{return mhtmltree; }

protected:

//声明了一系列虚函数,用于之后的重载

virtualvoid beginparsing();//开始解析

virtualvoid foundtag(node node, bool isend);//寻找指定标签

virtualvoid foundtext(node node); //寻找文本

virtualvoid foundcomment(node node);//寻找注释文本

virtualvoid endparsing();//结束解析

treemhtmltree;//数据成员,用于存放解析好的树

tree::iteratormcurrentstate;//用于遍历树的迭代器,具体声明可见tree.h文件

};

在parsedom类之后我们还可以见到有如下代码:

std::ostream&operator&tr);

该段代码重写了类型的变量。

parsetree(const std::string &html)

该方法主要是调用parsersax.h中的parse()方法(并最终经过一系列调用,调用到parsersax.tcc中的parse()方法)对输入的一段string字符串形式的html文档进行解析。

const tree&parserdom::parsetree(const std::string &html)

{

this->parse(html);//调用parsersax.h中的parse方法对html字符串进行解析,并且将结果存入数据成员mhtmltree

returnthis->gettree();//返回受保护的数据成员mhtmltree

}

beginparsing()

该方法主要是为解析之前做一些初始化的工作,主要是在树的根节点之前插入一个新的节点作为新根节点。

void parserdom::beginparsing()

{

mhtmltree.clear();//首先清空mhtmltree

tree::iteratortop = mhtmltree.begin();//之后申请一个top游标,指向mhtmltree树的开始节点

html::nodelambda_node;//申请一个新节点

lambda_node.offset(0);//初始化moffset值为0,具体请查阅node.h和node.cc文件

lambda_node.length(0);

lambda_node.istag(true);

lambda_node.iscomment(false);

mcurrentstate= mhtmltree.insert(top,lambda_node);//将这个节点插入到树中去成为根节点,注意是插入到top游标节点的之前,即previous sibling,具体请查阅tree.h中的insert方法。

}

endparsing()

该方法主要作用是停止当前的解析,并记录下已经解析的长度。

void parserdom::endparsing()

{

tree::iteratortop = mhtmltree.begin();//获取根节点

top->length(mcurrentoffset);//将根节点的length数据成员设置为当年已解析的距离

}

foundcomment()

该方法的主要作用是在当前正在解析的节点(即mcurrentstate游标所指向的节点)下将节点作为注释内容插入进去。实际这个方法上和后面的foundtext()方法完全一样,因为无论是comment或text都是作为node添加进去的,对于程序来讲没有本质上的区别。

void parserdom::foundcomment(node node)

{

//addchild content node, but do not update current state

//在当前节点下添加一个新的节点node,但是不更新当前解析的进度,即不修改mcurrentstate游标的位置

mhtmltree.append_child(mcurrentstate,node);

}

foundtext()

该方法的主要作用和前一个方法雷同,从函数名的字面解释来讲应当是添加文本。

void parserdom::foundcomment(node node)

{

//addchild content node, but do not update current state

//在当前节点下添加一个新的节点node,但是不更新当前解析的进度,即不修改mcurrentstate游标的位置

mhtmltree.append_child(mcurrentstate,node);

}

foundtag(nodenode, bool isend)

该方法的主要作用是添加一个新的标签节点,并且需要根据isend变量进行判断是起始标签如

或等,还是结束标签如

或等。

void parserdom::foundtag(node node, boolisend)

{

if(!isend)

{

//appendto current tree node

tree::iteratornext_state;

next_state= mhtmltree.append_child(mcurrentstate, node);

mcurrentstate= next_state;

}

else

{

//lookif there is a pending open tag with that same name upwards

//ifmcurrentstate tag isn't matching tag, maybe a some of its parents

//matches

vector

::iterator > path;

tree::iteratori = mcurrentstate;

boolfound_open = false;

while(i != mhtmltree.begin())

{

#ifdef debug

cerrtagname()tagname().length()) cerr offset()offset()+i->length();

#endif

assert(i->istag());

assert(i->tagname().length());

boolequal;

constchar *open = i->tagname().c_str();

constchar *close = node.tagname().c_str();

equal= !(strcasecmp(open,close));

if(equal)

{

debugp("foundmatching tag %s\n", i->tagname().c_str());

//closingtag closes this tag

//setlength to full range between the opening tag and

//closingtag

i->length(node.offset()+ node.length() - i->offset());

i->closingtext(node.text());

mcurrentstate= mhtmltree.parent(i);

found_open= true;

break;

}

else

{

path.push_back(i);

}

i= mhtmltree.parent(i);

}

if(found_open)

{

//ifmatch was upper in the tree, so we need to invalidate child

//nodesthat were waiting for a close

for(unsigned int j = 0; j

{

//path[j]->length(node.offset()- path[j]->offset());

mhtmltree.flatten(path[j]);

}

}

else

{

debugp("unmatchedtag %s\n", node.text().c_str());

//treat as comment

node.istag(false);

node.iscomment(true);

mhtmltree.append_child(mcurrentstate,node);

}

}

}

这段算法的思路很简单,首先根据isend判断要添加的节点是否是结束tag节点,如果不是则直接将该节点插入到当前节点下。否则的话则需要向前寻找其对应的起始tag节点,一直回溯找到树的根节点,若没有找到则报错。此时还需要考虑如下可能,即该起始tag节点和所插入的结束tag节点之间还可能有其他的tag节点,如插入的是

,而可能会有

…

…

,此时第一个

才是其所对应的起始tag节点。为了解决这个问题,本函数里采用了一个将树路径以vetor存储的方式进行查找匹配。

1.将所插入节点与当前节点的tagname进行比较。如果相同或者当前节点就是根节点,则前往第三步。

2.将当前节点重置为当前节点的父节点,并将当前节点按顺序添加至path。回到第1步。

3.检查是否找到tagname相同的节点,如果找到,我们需要调用flatten()方法调整树的结构,从而消除掉原本正在等待结束tag的起始tag节点。

4.否则即为未找到,报错。

为了方便大家理解,我们稍微介绍一下这里使用到的flatten()方法,这是一个很有意思的树操作方法,其效果如下图所示:

关于flatten()具体可以参看tree.h中的具体算法。在这个算法中,由于建树时的算法特性,需要在找到匹配的起始标签后,对path路径上的所有节点执行flatten算法,这样就可以将原本需要等待结束tag标签的起始标签放到合适的位置。具体原因可以去查看parsesax.tcc中构建树节点的算法来理解。

本方法主要是提供给parsesax.tcc中的解析方法所调用。

operator &tr)

本方法主要重写了类型的对象。

ostream &html::operator &tr)

{

tree::pre_order_iteratorit = tr.begin();

tree::pre_order_iteratorend = tr.end();

introotdepth = tr.depth(it);

streamoffset() offset() + it->length()

代码很简单,就是利用了前序的游标pre_order_iterator循环遍历整棵树并且进行一些格式化的输出。关于pre_order_iterator的定义可以参考tree.h部分代码。

2.3 parsersax.h(.cc)

前面我们介绍过了sax方式和dom方式的区别,实际上在htmlcxx中,这两种方式是结合使用的,即首先用sax方式对流进行解析,解析出的结果采用dom方式保存到一个树型的tree数据结构中。

首先我们还是来看一下parsersax.h头文件中对于数据成员和函数的声明:

classparsersax

{

public:

parsersax(): mpliteral(0), mcdata(false) {}//构造方法,初始化两个成员变量的值

virtual~parsersax() {}//析构方法,空

/**parse the html code */

voidparse(const std::string &html);//解析一个string格式的html文档

template

voidparse(_iterator begin, _iterator end);//使用两个类型相同的形参格式的解析器模板

protected:

//redefine this if you want to do some initialization before

//the parsing

virtualvoid beginparsing() {}//空,可进行扩展

//以下几个虚函数,都在parsedom.cc中进行了实现

virtualvoid foundtag(node node, bool isend) {}

virtualvoid foundtext(node node) {}

virtualvoid foundcomment(node node) {}

virtualvoid endparsing() {}

//以下是几个模板,大部分都在parsesax.tcc文件中实现

template

voidparse(_iterator &begin, _iterator &end,

std::forward_iterator_tag);

template

voidparsehtmltag(_iterator b, _iterator c);

template

voidparsecontent(_iterator b, _iterator c);

template

voidparsecomment(_iterator b, _iterator c);

template

_iteratorskiphtmltag(_iterator ptr, _iterator end);

template

_iteratorskiphtmlcomment(_iterator ptr, _iterator end);

//几个数据成员

unsignedlong mcurrentoffset;//当前正在解析的偏移位置

constchar *mpliteral;//具体作用需要到parsesax.tcc中才显现出来

boolmcdata;//同上

};

打开parsersax.cc可以看到,里面空荡荡地只有一个parse(const std::string &html)方法

void htmlcxx::html::parsersax::parse(conststd::string &html)

{

//std::cerr

该方法实际上直接调用了另一个template void parse(_iterator begin, _iterator end)方法,而这个方法和一些其他主要方法都是在parsesax.tcc中进行实现。

2.4 parsesax.tcc

注意.tcc文件和一般的.cc文件有所不同,应当是基于turboc++的,因为turbo c++是很多年没用过的东西了,具体我也不是很懂有什么区别。

parsesax.tcc这个文件中主要实现了对html文档的文本流的解析,并将其转化为一个个的节点,并存储到html树中去。其实现了一整套的html解析流程,值得我们学习。该流程主要针对的是firefox生成的html格式来进行的解析。并且使用parsecontent(),parsetag(),parsecomment()对一段内容作为内容,标签,注释等进行不同的处理。

如果读者曾经写过类似的html解析器,那么在看这段代码的时候会非常清晰,即使没有写过也没关系,因为这段代码的逻辑很清晰,可以借鉴其作为对html解析器的标准来进行学习。

其基本思路就是,按序遍历整个字符串,遇到’’则认为是tag标签的结束处,遇到’!’则认为其是注释字段的起始或结束处。之后运行相应的parsecontent(),parsetag(),parsecomment()进行解析即可。

parse(_iterator &begin, _iterator&end, std::forward_iterator_tag)

由于这段代码较长,我们将其分解后进行讲解。

voidhtmlcxx::html::parsersax::parse(_iterator &begin, _iterator &end,std::forward_iterator_tag)

{

typedef_iterator iterator;

//std::cerrbeginparsing();//调用beginparsing()进行初始化

//debugp("parsedtext\n");

上面这段代码进行了一些成员变量的初始化,并且调用了beginparsing()进行相应的初始化。

while(begin != end)

{

*begin;// this is for the multi_pass to release the buffer

这个while循环是最外层的循环,其循环的依据是begin和end两个游标,这两个游标始终指向了待解析的文本串的起始端和结束端。

while(c != end)

{

//for some tags, the text inside it is considered literal and is

//only closed for itscounterpart

上面这个while循环是次外层的循环,该循环每次结束都即为解析出一个节点。

while(mpliteral)

{

//debugp("treatingliteral %s\n", mpliteral);

在这个循环的判断条件中,mpliteral默认初始值为0,在运行后面的parsehtmltag()方法时候会更改它的值,如果不为零,则说明当前的tagname应当为以下这个数组的str属性其中之一。

static

struct literal_tag {

intlen;

constchar* str;

intis_cdata;

}

literal_mode_elem[] =

{

{6,"script", 1},

{5,"style", 1},

{3,"xmp", 1},

{9,"plaintext", 1},

{8,"textarea", 0},

{0,0, 0}

};

其意义就是说,当遇到这些特殊节点的时候,需要进入该循环进行一些特别的处理,即应当着手向后寻找该tagname对应的标签,其间遇到的所有内容都应当作为普通文本进行处理。

我们继续分析代码:

//debugp("treatingliteral %s\n", mpliteral);

while(c != end && *c != 'parsecontent(begin, c);//此时最后一个解析的标签末尾和文档末尾之间可能还有一段内容需要解析

gotodone;//转到结束阶段

}

iteratorend_text(c);//申请一个新游标end_text,初始值赋入c

++c; //将c游标前进一步

此处申请的end_text,主要是为了在后面的代码中记录下当前’

if(*c == '/')//判断’

跳出最后一个while循环时,c和l应当指向的是mpliteral和tagname从起始位置开始的最小公共子串的结束位置,如果匹配成功则l应当指向字符串的最后一个位置+1,即为空。此处需要注意的是,mozilla浏览器一旦遇到/plaintext就会停止解析,因此这里需要对此情况作出判断。不过作者此处貌似没有写得很完善,还期待将来做出修改。

//fixme: mozilla stops when it sees a /plaintext. check

//other browsers and decide what to do

if(!*l && strcmp(mpliteral, "plaintext"))

{

//matched all and is not tag plaintext

//说明不是plaintext标签,且此时l指针为空

while(isspace(*c)) ++c; //跳过空格字符

if(*c == '>')//直到找到标签结束位置

{

++c;

if(begin != end_text)

this->parsecontent(begin,end_text); //处理这段标签之前的那段“文本”

mpliteral= 0;//更改循环进入条件

c= end_text;//修改游标值

begin= c;//修改游标值

break;//跳出循环,此时说明已经找到了对应tagname的标签

}

}

除此之外,后面的一段代码还考虑到了在寻找过程中遇到注释的情况,也需要做出相应处理。

elseif (*c == '!')

{

// we may find a comment andwe should support it

iteratore(c);

++e;

if(e != end && *e == '-' && ++e != end && *e == '-')

{

//debugp("parsingcomment\n");

++e;

c= this->skiphtmlcomment(e, end);

}

}

}

上面这段代码很简单,就是对遇到注释后的进行处理,直接调用skiphtmlcomment()方法就可以很方便地进行处理了,关于skiphtmlcomment()方法的详细介绍我们会在后面给出。

到这里为止while(mpliteral)循环的代码就结束了,下面的代码则是解析一般tag标签的代码。

if(*c == '

此时d所指向的应当是’

if(isalpha(*d))//如果d指向的是普通字符

{

//beginning of tag 说明是tag标签的起始

if(begin != c)//如果标签之前还有一段文本

this->parsecontent(begin,c);//则对其进行处理

//debugp("parsingbeginning of tag\n");

d= this->skiphtmltag(d, end);//找到tag标签的结束位置

this->parsehtmltag(c,d);//对tag标签的起始位置和结束位置之间的这段标签内容适用parsehtmltag(x,x)进行处理。

//continue from the end of the tag

c= d;//将游标移动到标签之后的位置

begin= c;

break;//成功解析出一个节点,跳出循环

}

其次是解析普通结束型标签的:

if(*d == '/')

{

if(begin != c)//如果标签之前还有一段文本

this->parsecontent(begin,c); //则对其进行处理

iteratore(d);//申请一个新标签e,初始化为d

++e;//将其后移一位

if(e != end && isalpha(*e))

{

//说明此时e指向的是结尾型标签的起始处

d= this->skiphtmltag(d, end); //寻找标签结束位置

this->parsehtmltag(c,d); //对这段位置之间的标签进行处理

}

else

{

//不是一个标准的结束型标签,和mozilla采用一样的处理方式

d= this->skiphtmltag(d, end);

this->parsecomment(c,d);

}

//将游标移动到tag标签之后继续

c= d;

begin= c;

break;//解析出一个节点,跳出循环

}

之后是处理注释型标签的,即“

if(*d == '!')

{

//说明是注释标签

if(begin != c)//如果此标签之前还有一段文本

this->parsecontent(begin,c); //则对其进行处理

iteratore(d);//申请一个游标e,初始化为d

++e;//将e后移一位

if(e != end && *e == '-' && ++e != end && *e == '-')

{

//debugp("parsingcomment\n");

++e;

d= this->skiphtmlcomment(e, end); //查找到标签结尾

}

else

{

d= this->skiphtmltag(d, end); //也可能注释直到文档结束

}

this->parsecomment(c,d); //将这段文本作为注释进行处理

//移动游标至标签结尾处

c= d;

begin= c;

break;//成功解析出一个标签,跳出循环

}

最后这段代码是处理一些诸如

if(*d == '?' || *d == '%')

{

//这段代码很简单

if(begin != c)//如果标签之前还有一段文本

this->parsecontent(begin,c); //则对其进行处理

d= this->skiphtmltag(d, end);//找到标签末尾

this->parsecomment(c,d);//对这段标签进行处理

//移动游标至末尾

c= d;

begin= c;

break;//成功解析出标签,跳出循环

}

之后还有一点结束代码,以及将游标c移位的代码。

}

}

}

c++;//每次while循环后都需要后移游标c

}

//在所有标签都处理完后,可能在文档末尾还有一些文本要进行处理

if(begin != c)

{

this->parsecontent(begin,c);//处理这段文本

begin= c;

}

}

done://作为goto代码的位置,即为解析结束后执行的收尾工作

this->endparsing();

return;

}

至此,sax方式的html流解析主体代码基本就分析完毕了。下面我们来分析一下上面代码中分别用到的对注释,标签,内容进行解析的几个方法parsecomment,parsehtmltag,parsecontent等,这些方法的原理和实现方法都很简单,读者可一目了然。

parsecomment(_iteratorb, _iterator c)

这段代码的形参为两个游标,他们分别指示了要处理的文本的起始位置和结束位置,并将这段文本作为注释来进行处理。

template

voidhtmlcxx::html::parsersax::parsecomment(_iterator b, _iterator c)

{

//debugp("creatingcomment node %s\n", std::string(b, c).c_str());

//申请一个新的node节点

htmlcxx::html::nodecom_node;

//fixme:set_tagname shouldn't be needed, but first i must check

//legacycode

//申请一个string类型,用游标b,c之间的这段文本为其初始化赋值

std::stringcomment(b, c);

//以下是利用各种变量为代表该node的一些属性的数据成员进行复制

//具体方法的细节我们在后面分析node.h(.cc)的时候再进行解释

com_node.tagname(comment);//tag名

com_node.text(comment);//文本

com_node.offset(mcurrentoffset);//在文档中的偏移值

com_node.length((unsignedint)comment.length());//节点长度

com_node.istag(false);//是否是标签

com_node.iscomment(true); //是否是注释

mcurrentoffset+= com_node.length();//将当前解析位置后移,移动到该节点的结束位置

//call callback method

//回调方法,将该节点插入已有的html树中

this->foundcomment(com_node);

}

parsecontent(_iteratorb, _iterator c)

这段代码的形参为两个游标,他们分别指示了要处理的文本的起始位置和结束位置,并将这段文本作为文本内容来进行处理。

template

voidhtmlcxx::html::parsersax::parsecontent(_iterator b, _iterator c)

{

//debugp("creatingtext node %s\n", (std::string(b, c)).c_str());

//申请一个新的node节点

htmlcxx::html::nodetxt_node;

//fixme:set_tagname shouldn't be needed, but first i must check

//legacycode

//申请一个string类型,用游标b,c之间的这段文本为其初始化赋值

std::stringtext(b, c);

//以下是利用各种变量为代表该node的一些属性的数据成员进行复制

//具体方法的细节我们在后面分析node.h(.cc)的时候再进行解释

txt_node.tagname(text);//tag名

txt_node.text(text);//文本

txt_node.offset(mcurrentoffset);//在文档中的偏移值

txt_node.length((unsignedint)text.length());//节点长度

txt_node.istag(false);//是否是标签

txt_node.iscomment(false);//是否是注释

mcurrentoffset+= txt_node.length();//将当前解析位置后移,移动到该节点的结束位置

//call callback method

//回调方法,将该节点插入已有的html树中

this->foundtext(txt_node);

}

parsehtmltag(_iteratorb, _iterator c)

这段代码的形参为两个游标,他们分别指示了要处理的文本的起始位置和结束位置,并将这段文本作为html标签来进行处理。

我们分三段来看这段代码,首先看第一段:

template

voidhtmlcxx::html::parsersax::parsehtmltag(_iterator b, _iterator c)

{

_iteratorname_begin(b);//申请一个新的游标name_begin游标,初始为b

++name_begin;//将name_begin后移一位

boolis_end_tag = (*name_begin == '/');//判断name_begin是否是’/’,如果是则说明是结束型tag标签

if(is_end_tag) ++name_begin;//如果是结束型的tag标签,则再将name_begin前进一位,跳过’/’符号

_iteratorname_end(name_begin);//申请一个新的name_end游标,记录一下name_begin标签。

while(name_end != c && isalnum(*name_end))//将name_end后移,直到遇到了文档末尾或者普通字符为止。

{

++name_end;

}

std::stringname(name_begin, name_end); //取name_begin和name_end之间的这段文本认为是tagname并赋值给一个string型的变量name

之后,我们要对这个name做一些判断,判断其是否是特殊类型的tag标签,即是否是前面literal_mode_elem[]数组中的某个标签。

if(!is_end_tag)//当然首先得判断这不是一个结束型的标签

{

std::string::size_typetag_len = name.length();

for(int i = 0; literal_mode_elem[i].len; ++i)//循环进行查找

{

if(tag_len == literal_mode_elem[i].len)//进行比较

{

#ifdefined(win32) && !defined(__mingw32__) //这段就是根据系统采用不同的string比较函数

if(!_stricmp(name.c_str(), literal_mode_elem[i].str))

#else

if(!strcasecmp(name.c_str(), literal_mode_elem[i].str))

#endif

{

mpliteral= literal_mode_elem[i].str;//如果找到,则将其赋值为mpliteral

break;//并退出循环

}

}

}

}

之后,我们就可以将其作为node节点来做一些存储的工作了。

htmlcxx::html::nodetag_node;

//bynow, length is just the size of the tag

//注意到,目前这还只是起始节点,因此长度只是本身的长度

std::stringtext(b, c);

tag_node.length(static_cast(text.length()));//节点长度

tag_node.tagname(name);//tag名

tag_node.text(text);//节点文本

tag_node.offset(mcurrentoffset);//在文档中的偏移位置

tag_node.istag(true);//是否是tag标签

tag_node.iscomment(false);//是否是注释

mcurrentoffset+= tag_node.length();//将当前的解析位置后移

this->foundtag(tag_node,is_end_tag);//调用方法将其加入到已有的html树中

}

这个文件中的最后还有几个小方法,作用和思路都很简单,主要都是为上面几个方法进行服务的,我们简单地作一下介绍。

find_next_quote(_iteratorc, _iterator end, char quote)

本方法主要是从游标c处开始,直到游标end之间,寻找到第一个quote字符的位置并返回其游标,未找到则返回end的位置。

template

static inline

_iterator find_next_quote(_iterator c,_iterator end, char quote)

{

//std::cerr

*find_next_quote(constchar *c, const char *end, char quote)

本方法主要是从字符指针*c开始,直到字符指针*end之间,寻找到第一个quote字符的位置并返回指向其的字符指针,未找到则返回*end指针。

template (memchr(c, quote, end - c));

if(d) return d;

elsereturn end;

}

skiphtmltag(_iteratorc, _iterator end)

从游标c的位置开始,直到游标end的位置之间,寻找到该标签所对应的结束’>’符号的位置,并以游标形式返回。其中要注意对tag标签内的属性做了另外的处理,即能够识别并跳过属性中的’>’符号,防止出错。

template

_iteratorhtmlcxx::html::parsersax::skiphtmltag(_iterator c, _iterator end)

{

while(c != end && *c != '>')

{

if(*c != '=')

{

++c;

}

else

{// found an attribute

++c;

while(c != end && isspace(*c)) ++c;

if(c == end) break;

if(*c == '\"' || *c == '\'')

{

_iteratorsave(c);

charquote = *c++;

c= find_next_quote(c, end, quote);

//while(c != end && *c != quote) ++c;

//c= static_cast(memchr(c, quote, end - c));

if(c != end)

{

++c;

}

else

{

c= save;

++c;

}

//debugp("quotes:%s\n", std::string(save, c).c_str());

}

}

}

if(c != end) ++c;

returnc;

}

2.5 node.h(.cc)

node.h里定义了树的每个节点的数据类型,重载了一些运算符使其方便进行一些逻辑运算,并提供了根据节点内文本分析和存储节点属性的parseattributes()方法。我们在使用htmlcxx进行html解析的时候,经常会对node数据类型进行操作以及用node进行输出,因此理解其的数据结构十分重要。

首先我们来看node.h头文件的定义,其数据成员全部声明为protected类型:

protected:

std::stringmtext;//节点的内部文本

std::stringmclosingtext;

unsignedint moffset;//节点在原文档中的偏移值

unsignedint mlength;//节点的字符长度的

std::stringmtagname;//节点的tag名

std::map mattributes; //存放属性的二维数组

boolmishtmltag;//节点是否是htmltag标签

boolmcomment;//节点是否是注释

再看它的成员函数,全部为public。

public:

node(){}//构造函数

//node(constnode &rhs); //uses default

~node(){}//析构函数

inlinevoid text(const std::string& text) { this->mtext = text; }

inlineconst std::string& text() const { return this->mtext; }

inlinevoid closingtext(const std::string &text) { this->mclosingtext = text; }

inlineconst std::string& closingtext() const { return mclosingtext; }

inlinevoid offset(unsigned int offset) { this->moffset = offset; }

inlineunsigned int offset() const { return this->moffset; }

inlinevoid length(unsigned int length) { this->mlength = length; }

inlineunsigned int length() const { return this->mlength; }

inlinevoid tagname(const std::string& tagname) { this->mtagname = tagname; }

inlineconst std::string& tagname() const { return this->mtagname; }

boolistag() const { return this->mishtmltag; }

voidistag(bool is_html_tag){ this->mishtmltag = is_html_tag; }

booliscomment() const { return this->mcomment; }

voidiscomment(bool comment){ this->mcomment = comment; }

以上所有函数都是对各个数据成员的简单的赋值取值函数,十分简单就不加以解释了。

主要了解一下下面这个函数

std::pair attribute(const std::string &attr) const

{

std::map::const_iterator i = this->mattributes.find(attr);

if(i != this->mattributes.end()) {

returnmake_pair(true, i->second);

}else {

returnmake_pair(false, std::string());

}

}

该函数主要功能是根据参数string &attr,查找到mattributes[]中的某个项,并且返回该项的第二个成员值,即根据属性的名称查找该属性的值。返回的形式为一个make_pair数据类型,如果不为最后一个属性,则为make_pair(true,属性值),而如果是最后一个属性则返回一个make_pair(false,空字符串)。

之后还有一些关于操作符重载的声明:

operatorstd::string() const;

std::ostream&operator& attributes() const { returnthis->mattributes; }

voidparseattributes();

booloperator==(const node &rhs) const;

下面我们来看node.cc文件中的内容。

parseattributes()

由于这段代码较长,因此我们也分段对其进行解析。这段代码默认在mtext中已经存放了节点的文本数据。并且通过对该文本数据进行解析,将所有诸如之类的属性信息识别并储存起来。

if(!(this->istag())) return;//判断是否是tag标签节点,不是则返回

constchar *end;

constchar *ptr = mtext.c_str();//*ptr作为mtext的*char类型指针

if((ptr = strchr(ptr, '

下面进入一个循环,该循环将一直不断向后解析该tag标签,直到遇到了’>’字符或者指针为空才退出。

while(*ptr && *ptr != '>')

{

stringkey, val;

//跳过所有无法识别的字节

while(*ptr && !isalnum(*ptr) && !isspace(*ptr)) ++ptr;

//跳过所有的空格字符

while(isspace(*ptr)) ++ptr;

end= ptr;

//将end指向ptr之后第一个不为普通字符或’-’字符的位置

while(isalnum(*end) || *end == '-') ++end;

//将ptr至end之间的这段文本变为小写字符赋值给key

key.assign(end- ptr, '\0');

transform(ptr,end, key.begin(), ::tolower);

ptr= end;

//此时key中应当存放的是属性名

//跳过所有的空格字符

while(isspace(*ptr)) ++ptr;

下面是解析并获取属性的值

while(*ptr && *ptr != '>')

{

stringkey, val;

//跳过所有无法识别的字节

while(*ptr && !isalnum(*ptr) && !isspace(*ptr)) ++ptr;

//跳过所有的空格字符

while(isspace(*ptr)) ++ptr;

end= ptr;

//将end指向ptr之后第一个不为普通字符或’-’字符的位置

while(isalnum(*end) || *end == '-') ++end;

//将ptr至end之间的这段文本变为小写字符赋值给key

key.assign(end- ptr, '\0');//注意要加上’\0’

transform(ptr,end, key.begin(), ::tolower);

ptr= end;

//此时key中应当存放的是属性名

//跳过所有的空格字符

while(isspace(*ptr)) ++ptr;

if(*ptr == '=')//如果后面跟的是’=’符号,说明后面就是属性值

{

++ptr;//将ptr后移一位

while(isspace(*ptr)) ++ptr;//跳过所有的空格字符

if(*ptr == '"' || *ptr == '\'')//判断属性值是否被引号括起

{

charquote = *ptr;

//fprintf(stderr,"trying to find quote: %c\n", quote);

constchar *end = strchr(ptr + 1, quote);

if(end == 0)

{

//b= mtext.find_first_of(" >", a+1);

constchar *end1, *end2;

end1= strchr(ptr + 1, ' ');

end2= strchr(ptr + 1, '>');

if(end1 && end1 = begin) --trimmed_end;

val.assign(begin,trimmed_end + 1);

ptr= end + 1;

}

else//否则直接获取其值

{

end= ptr;

while(*end && !isspace(*end) && *end != '>') end++;

val.assign(ptr,end);

ptr= end;

}

//fprintf(stderr,"%s = %s\n", key.c_str(), val.c_str());

mattributes.insert(make_pair(key,val));

}

else//否则说明格式有错误,并将该key对应的值按空字符串插入结果集

{

//fprintf(stderr,"d: %s\n", key.c_str());

mattributes.insert(make_pair(key,string()));

}

}

}

之后,还有几个关于操作符重载的代码,很好理解,这里仅仅将其列出来就不详细说明了。

bool node::operator==(const node &n)const //判断两个node是否都为tag标签,且tag名是否相等

{

if(!istag() || !n.istag()) return false;

return!(strcasecmp(tagname().c_str(), n.tagname().c_str()));

}

node::operator string() const {//根据是否是tag标签,返回tagname或者text

if(istag()) return this->tagname();

returnthis->text();

}

ostream &node::operator

三.总结

对htmlcxx进行学习,可以很好地掌握标准html解析的流程,以及解析器的内部结构,并掌握c++编程时的一些好习惯和系统组织方式。遗憾的是htmlcxx在2005年之后就不再更新,且仅仅支持mozilla的html标准。它对html的良构性要求比较高,对于一些含有错误的html文档,在解析时可能会出现一些意想不到的错误。

在编程过程中,我们可以针对具体的需求,很方便地对其的内部数据结构进行调整,如为节点新加一些属性等。

目前的文档中没有包含tree.h的代码说明,因为它属于第三方代码,希望了解的可以去http://tree.phi-sci.com/documentation.html了解具体的情况。后续有机会还会专门写一篇关于这个tree.h的文档。

如果对此文档中的代码解析有什么问题,或者发现了什么问题,请您发送邮件到我的邮箱[e-mail]。

======================================================
在最后，我邀请大家参加新浪APP，就是新浪免费送大家的一个空间，支持PHP+MySql，免费二级域名，免费域名绑定 这个是我邀请的地址，您通过这个链接注册即为我的好友，并获赠云豆500个，价值5元哦！短网址是http://t.cn/SXOiLh我创建的小站每天访客已经达到2000+了，每天挂广告赚50+元哦，呵呵，饭钱不愁了，\(^o^)/