Distributional Vector VS. Distributed Vector
来源:互联网 发布:怎么设计淘宝店标 编辑:程序博客网 时间:2024/06/05 05:03
Distributional Vector VS. Distributed Vector
异同点
对于自然语言
- 相同点
- 都是基于distribution思想
- 使用相同的语料库
- Distributional models(BOW,LSI,LDA)
- 共现在同一文本区域中词(如同一语句)相关,在语料中的共现语句越多,越相关
- 使用共现语句个数构建词与词(上下文)的PMI/PPMI矩阵(高维稀疏矩阵),然后进行SVD得到每个词的低维稠密向量(隐向量)
- Distributed models(NPLM,LBL,Word2vec,Glove)
- 在相同上下文中出现的词具有相关性,相同的上下文在语料库中越多,越相关,不要求同时出现
- 思想来源于深度学习(Inspired by deep learning), 使用预测代替共现计数
- Example
A dog is in the room.
A cat is in the room.
dog 与 room 是 Distributional
dog 与 cat 是 Distributed - 思想区别
- Distributional思想
同一个语境中(上下文)出现的词相关。
它是一种横向思想,如句子“今晚的天空有很多星星”,“天空”与“星星”横向相关。 - Distributed思想
相似的语境下(上下文)的词相关。
这里相似的语境可以是同一个句子,也可以是不同的语句(纵向)。
它包含一种纵向思想,如句子“今晚的天空有很多星星”,“今晚的天空有月亮”,“星星”与“月亮”纵向相关。
- Distributional思想
- 方法区别
- Distributional使用隐矩阵分解(Implicit Matrix Factorization)
- Distributed使用神经网络词嵌入(Neural word embedding)
- Distributional使用共现计数来构建原始矩阵
- Distributed通过神经网络来进行上下文词预测
- 相同点
对于关系网络
- Distributional
- 在同一的路径中的点相关(取决于路径长度,最简单的便是只考虑1邻居)
- 如果使用词的共现构建网络,那么有边连接的点相关
- 或者使用图的邻接矩阵构建原始矩阵,然后进行矩阵分解
- Distributed
- 不仅考虑邻接的点相关性
- 还考虑了拥有共同邻居的不直接相连的点的相关
即如果某两个点,其虽然不直接相连,但是它们拥有相同的邻居,或者相同的邻居点很多,那么它们也具有相似性 - 可以使用deepwalk来对图中的点来仿造语句(词序列)来构建图节点序列
- Distributional
0 0
- Distributional Vector VS. Distributed Vector
- vector vs deque
- vector VS deque (zz)
- 【转贴】vector vs deque
- vs 调试vector
- vector<> VS <> deque<> VS list<>
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- ArrayList vs. LinkedList vs. Vector
- 安卓二维码扫描时出现图片拉伸
- https站点调用百度地图api
- Fuschia 是什么样的一个操作系统
- mac下 svn 提交@2x图片报错解决方法
- BZOJ4580 [Usaco2016 Open]248
- Distributional Vector VS. Distributed Vector
- linux下全目录全文搜索强大工具grep
- 使用webpack打包ES6代码
- python学习笔记(四)
- faster rcnn训练过程内存占用
- 【2016-08-15】spring 的一些注解
- android studio checkout svn 后无更新提交图标
- C#窗体退出事件提示对话框解决方案
- Codeforces Round #344 (Div. 2)C. Report