网页正文抽取演示(包含组件下载地址、原理说明文章地址)

来源:互联网 发布:如何评价王思聪 知乎 编辑:程序博客网 时间:2024/04/28 17:42
演示地址如下:http://202.110.133.114/tsegment/webanalyer.aspx

属于早期作品,采用规则方法提出非正文内容,则认为留下的内容为正文。仅作简单技术演示之用,感谢TT同学提供的空间并帮我写的演示程序。

该功能已封装成.NET组件,可提供程序直接调用,近期提供下载。

可用于大家收集语料时候网页内容提取之用。

如对此组件有兴趣,请直接邮件至我MSN信箱,我正考虑采用新算法完善并编写多个语言版本,在这里先统计下人数
看看有没开发商业版本的必要,对于商业版本将采用块识别标记的方式只对一段标签或一个DOM节点进行标识,而不负责提取正文,由用户自行控制过滤或提取哪些类型数据.
目前能想到可能会用到的标识类型:导航条 广告 正文 正文标题 相关文章 版权信息 评论 如大家还有其他想到的类型,请告之

无法处理导航页,提取正文时也不考虑图片类文章及文章中的配图。

该组件内部算法主要应用了规则模型抽取,所有规则基本使用正则表达式实现,具体正则可参考我的BLOG上《正文抽取正则》以及《聊聊网页正文抽取》内容。
http://www.likeshow.net/article.asp?id=60
http://www.likeshow.net/article.asp?id=55

组件下载:
http://www.likeshow.net/article.asp?id=91
原创粉丝点击