python网页自动摘要和关键词提取

来源：互联网发布：php popen 异步编辑：程序博客网时间：2024/06/05 19:49

</pre>最近准备用django写一个CMS系统，把单位的网页迁移过去，在网上找了一个博客系统，但是不太满意，摘要和tags都需要自己输入，目标就是把他们实现自动化。<p></p><p>之前搞爬虫接触过类似的库，readability,goose等都可以实现文本摘要，jieba具有提取tags的功能。</p><p><strong>goose主要作用是根据网址提取文本和标题。主要用的库有urllib2，beautifulsoup；有些网页用goose提取不到正文，只能获得标题，因此用在内容也上比较好，目录页、主页效果不太好</strong></p><p><strong>用法如下：</strong></p><p></p><pre code_snippet_id="1676291" snippet_file_name="blog_20160509_2_3813210" name="code" class="python">from goose import Goosefrom goose.text import StopWordsChineseg = Goose({'browser_user_agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0) ','stopwords_class': StopWordsChinese})article = g.extract(url=url)<pre name="code" class="python">url = 'http://blog.csdn.net/u011617072/article/details/12624855'print article.titleprint article.cleaned_text[:]

goose其实不怎么满足需求，简单点的还有html2text，或者用htmlparse，甚至简单粗暴的正则表达式。

# -*- coding: utf-8 -*-from HTMLParser import HTMLParserclass MLStripper(HTMLParser):    def __init__(self):        self.reset()        self.fed = []    def handle_data(self, d):        self.fed.append(d)    def get_data(self):        return ''.join(self.fed)def strip_tags(html):    s = MLStripper()    s.feed(html)    return s.get_data()

提取关键词用jieba比较简单，默认提供TF/IDF权重最高的20个词。

import jiebaimport jieba.analysedef extract_tags(content,topk):    content = content.strip()    tags=jieba.analyse.extract_tags(content, topK=topk)    return ','.join(tags)

0 0