基于word2vec的词语相似度计算
来源:互联网 发布:社交网络推广 编辑:程序博客网 时间:2024/04/24 20:01
作者:刘才权
编辑:黄俊嘉
基于word2vec的词语相似度计算
应用场景
假设你有一个商品的数据库,比如:
现在通过用户的输入来检索商品的价格,最简单的方法就是通过字符串进行匹配,比如,
用户输入“椅子”,就用“椅子”作为关键字进行搜索,很容易找到椅子的价格就是200元/个。
但有时用户输入的是“凳子”,如果按照字符串匹配的方法,只能返回给用户,没有此商品。但实际上可以把“椅子”的结果返回给用户参考。这种泛化的能力,通过简单的字符串匹配是显然不能实现的。
词语相似度计算
在上面的例子中,“凳子”跟“椅子”的语意更相近,跟“香蕉”或“冰箱”的语意相对较远。在商品搜索的过程中,可以计算用户输入的关键字与数据库中商品名间的相似度,在商品数据库中找出相似度最大的商品,推荐给用户。这种相近的程度就是词语的相似度。在实际的工程开发中可以通过word2vec实现词语相似度的计算。
代码实现
运行结果
调试技巧
在开发调试的过程中,会出现错误,需要重新运行程序。如果每次修改后,都从头开始执行,肯定会消耗很多无用的时间。比如,预处理后的文本结果和word2vec的训练参数,这些中间结果可以保持下来,当遇到问题时,就可以从文件中读取结果,而不需要每次都从头开始。
源码下载地址
https://github.com/CaiquanLiu/MachineLearning
代码参考
《Python机器学习及实践:从零开始通往Kaggle竞赛之路》
查看更加详细的代码请点击下方的阅读原文
▼点击阅读原文
阅读全文
0 0
- 基于word2vec的词语相似度计算
- Tensorflow练习2-Word2vec模型计算词语相似度
- Word2Vec提取关键词,词语相似度
- 基于word2vec与Word Mover Distance的文档相似度计算
- 利用知网数据计算词语相似度
- 词语语义相似度计算简介
- 举例说明利用《知网》计算词语相似度
- 举例说明利用《知网》计算词语相似度
- 词语相似度计算:6、实验报告
- 【linux + word2vec】计算两个词之间的相似度
- 【java + word2vec】java版本的语义相似度计算
- 词语相似度计算:2、使用NLTK和WordNet计算词语相似度
- 【python + word2vec】计算语义相似度
- Word2vec 计算两个文本之间相似度
- 词语相似度计算:1、安装NLTK和下载WordNet语料库;WordNet的使用
- 若无云,岂有风——词语语义相似度计算简介
- 读《若无云,岂有风--词语语义相似度计算简介》
- 词语相似度计算:4、提取文本tf、tfidf特征
- 初识c#---泛型
- 【悬赏】 一道有挑战的算法题!解最优者,必赏!
- 2017江汉大学紫龙互娱招生面试题
- Histogram of Oriented Gridients(HOG) 方向梯度直方图
- Scikit-learn之决策树
- 基于word2vec的词语相似度计算
- 章神的私房菜之数据预处理
- 9.19 算法挑战赛选手答案公布
- 机器学习损失函数、L1-L2正则化的前世今生
- 动态规划系列之最长递增子序列问题解答
- 人脸Haar特征与快速计算神器:积分图
- 负载均衡,cgroups,RT补丁-《Linux进程、线程和调度》系列9.22日第四节课ppt分享
- 宋宝华:LEP(Linux易用剖析器) 是什么,为什么以及怎么办(1)
- 调度器-《Linux进程、线程和调度》系列9.15日第三节课ppt分享