即插即用demo系列——文本相似度比较

来源：互联网发布：餐饮软件全国排名编辑：程序博客网时间：2024/06/07 02:15

#coding=GBKfrom fuzzywuzzy import fuzzfrom gensim import corpora, models, similarities   def similar(query, choices, coding='utf8'):    '''文本相似度'''    return [fuzz.token_sort_ratio(query.decode(coding), i.decode(coding), False) for i in choices]    def similar2(query, choices, coding='utf8'):    '''文本相似度比较'''    texts = [[word for word in document.decode(coding).split()] for document in choices]    dictionary = corpora.Dictionary(texts)    corpus = [dictionary.doc2bow(text) for text in texts]    tfidf = models.TfidfModel(corpus)    corpus_tfidf = tfidf[corpus]    index = similarities.MatrixSimilarity(corpus_tfidf)    vec_bow  = dictionary.doc2bow(query.decode(coding).split())    vec_tfidf = tfidf[vec_bow]    sims = index[vec_tfidf]    similarity = [int(i * 100) for i in list(sims)]    return similarity    if __name__ == '__main__':    print similar('测试 分词 fuzzy', ['分词 测试', '测试 分词     fuzzy', '今天 天气 很好', '没事 别 测试', 'NBA 篮球 好玩'], coding='gbk')    print similar2('测试 分词 fuzzy', ['分词 测试', '测试 分词    fuzzy', '今天 天气 很好', '没事 别 测试', 'NBA 篮球 好玩'], coding='gbk')

打印两个结果

[63, 100, 21, 44, 20]
[54, 100, 0, 5, 0]

数字越大，相似度越大。100的时候，说明完全相同

0 0