开眼界:最牛语义匹配算法

来源:互联网 发布:ip camea网络摄像机 编辑:程序博客网 时间:2024/05/21 17:57

原文链接

现在大家天天都在说人工智能~ 智能的第一步就是——理解用户意思。

全文检索算是理解用户意思吗?——不完全是。原因是:全文检索只能做字面的匹配,如果用户输入不准确,则并不能找到答案。

那么都有什么办法来理解用户意思呢?

珺姐不才,只听过组里算法同学给普及的word mover’s distance算法,听起来还是挺高大上的有木有?

The WMD distance measures the dissimilarity between two text documents as the minimum amount of distance that the embedded words of one document need to “travel” to reach the embedded words of another document. 原来句子和句子之间的意思理解是通过travel distance来衡量的。瞬间觉得word还能游动起来有木有!

这比全文检索强大在哪里呢?

请看下面的这张图,“奥巴马”和“总统”这两个词在字面上相差甚远,但是他们的词向量的空间距离却是很接近的。如果使用全文检索,这完全是两个不同的词。

image

大家也来谈谈自己知晓的牛逼的语义匹配的算法吧?一起开眼界!学起来!


原文链接

原创粉丝点击