jieba分词的使用

来源:互联网 发布:仙剑三mac版 编辑:程序博客网 时间:2024/05/16 12:34
jieba 的使用
http://www.cnblogs.com/eastmount/p/5055906.html
jieba分词 支持三种模式
(1) 精确模式:试图将句子最精确地切开,适合文本分析;seg_list = jieba.cut(text, cut_all=False),默认为精准模式
(2) 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义问题; seg_list = jieba.cut(text, cut_all=True)
(3) 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。seg_list = jieba.cut_for_search(text) 




jieba.cut():第一个参数为需要分词的字符串,第二个cut_all控制是否为全模式。
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=()
 sentence 为待提取的文本,topK为返回几个TF/IDF权重最大的关键词 默认为20个
 –withWeight 为是否一并返回关键词权重值,默认值为 False
 allowPOS 仅包括指定词性的词,默认值为空,即不筛选


 http://blog.csdn.net/zhangyu132/article/details/52128924
jieba.analyse.set_stop_words('stopword.txt')  猜想应该是去除停用词避免 ‘的 是 等 ’没用的词影响关键词的提取
原创粉丝点击