SGMLParser

来源：互联网发布：网站域名注册查询编辑：程序博客网时间：2024/05/22 01:27

http://www.open-open.com/lib/view/1329700631343

SGMLParser 将 HTML 分解成有用的片段，比如开始标记和结束标记。一旦它成功地分解出某个数据为一个有用的片段，它会根据所发现的数据，调用一个自身内部的方法。为了使用这个分析器，您需要子类化 SGML- Parser类，并且覆盖这些方法。

SGMLParser类里面包含了很多内部方法，开始读取html后，遇到相应的数据就会调用其对应的方法，最重要的方法有三个：

start_tagname(self, attrs)
end_tagname(self)
handle_data(self, text)

tagname就是标签名称，比如当遇到<pre>，就会调用start_pre，遇到</pre>，就会调用 end_pre，attrs即为标签的参数，以[(attribute, value), (attribute, value), ...]的形式传回，我们要做的就是在其子类重载自己感兴趣标签对应的函数。

python提供了SGMLParser类用于html文件的解析。用户只需从SGMLParser类继承子类，并在子类中对html文件做具体处理。

例如具有如下结构的html文件

<div class='entry-content'><p>感兴趣内容1</p><p>感兴趣内容2</p>……<p>感兴趣内容n</p></div><div class='content'><p>内容1</p><p>内容2</p>……<p>内容n</p></div>

我们尝试获得'感兴趣内容'

对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于

<div class='entry-content'><p>这里的内容</p><p>还有这里</p>……<p>以及这里的内容</p></div>

思路如下

遇到<div class='entry-content'> 设置标记flag = True
遇到</div>后设置标记flag = False
当flag 为True时遇到<p> 设置标记getdata = True
遇到</p> 且getdata = True,设置getdata = False

python为我们提供了SGMLParser类，SGMLParser 将 HTML 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承SGMLParser 类，并编写页面信息的处理函数。

可用的处理函数如下：

开始标记 (Start tag)

是一个开始一个块的 HTML 标记，象 <html>，<head>，<body> 或 <pre> 等，或是一个独一的标记，象 <br> 或 <img> 等。当它找到一个开始标记 tagname，SGMLParser 将查找名为 start_tagname 或 do_tagname 的方法。例如，当它找到一个 <pre> 标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用 unknown_starttag 方法。

结束标记 (End tag)

是结束一个块的 HTML 标记，象 </html>，</head>，</body> 或 </pre> 等。当找到一个结束标记时，SGMLParser 将查找名为 end_tagname 的方法。如果找到，SGMLParser 调用这个方法，否则它使用标记的名字来调用 unknown_endtag 。

字符引用 (Character reference)

用字符的十进制或等同的十六进制来表示的转义字符，象  。当找到，SGMLParser 使用十进制或等同的十六进制字符文本来调用 handle_charref 。

实体引用 (Entity reference)

HTML 实体，象 ©。当找到，SGMLParser 使用 HTML 实体的名字来调用 handle_entityref 。

注释 (Comment)

HTML 注释, 包括在 之间。当找到，SGMLParser 用注释内容来调用 handle_comment。

处理指令 (Processing instruction)

HTML 处理指令，包括在 <? ... > 之间。当找到，SGMLParser 用处理指令内容来调用 handle_pi。

声明 (Declaration)

HTML 声明，如 DOCTYPE，包括在 <! ... >之间。当找到，SGMLParser 用声明内容来调用 handle_decl。

文本数据 (Text data)

文本块。不满足其它 7 种类别的任何东西。当找到，SGMLParser 用文本来调用 handle_data。

综上，得到如下代码

from sgmllib import SGMLParserclass GetIdList(SGMLParser):    def reset(self):        self.IDlist = []        self.flag = False        self.getdata = False        SGMLParser.reset(self)            def start_div(self, attrs):        for k,v in attrs:#遍历div的所有属性以及其值            if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>                self.flag = True                return    def end_div(self):#遇到</div>self.flag = False                def start_p(self, attrs):        if self.flag == False:            return        self.getdata = True

def end_p(self):#遇到</p>    if self.getdata:        self.getdata = Falsedef handle_data(self, text):#处理文本    if self.getdata:        self.IDlist.append(text)</pre><br><br>

如果出现嵌套，可以采用下面的方案：

记录所处的层数。进入子层div verbatim加1,退出子层div verbatim减1.这样就可以判断是否是同一层了。

修改代码：

from sgmllib import SGMLParserclass GetIdList(SGMLParser):    def reset(self):        self.IDlist = []        self.flag = False        self.getdata = False        self.verbatim = 0        SGMLParser.reset(self)            def start_div(self, attrs):        if self.flag == True:            self.verbatim +=1 #进入子层div了，层数加1            return        for k,v in attrs:#遍历div的所有属性以及其值            if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>                self.flag = True                return    def end_div(self):#遇到</div>        if self.verbatim == 0:            self.flag = False        if self.flag == True:#退出子层div了，层数减1            self.verbatim -=1    def start_p(self, attrs):        if self.flag == False:            return        self.getdata = True            def end_p(self):#遇到</p>        if self.getdata:            self.getdata = False    def handle_data(self, text):#处理文本        if self.getdata:            self.IDlist.append(text)                def printID(self):        for i in self.IDlist:            print i

测试代码：

import urllib2  import datetime  vrg = (datetime.date(2015,7,14) - datetime.date.today()).days  strUrl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)  req = urllib2.Request(strUrl)#通过网络获取网页  response = urllib2.urlopen(req)  the_page = response.read()lister = GetIdList()  lister.feed(the_page)  lister.printID()

1 0