A simple but tough-to-beat baseline for sentence embedding
来源:互联网 发布:java时间相减得到小时 编辑:程序博客网 时间:2024/06/06 09:12
论文原文:A simple but tough-to-beat baseline for sentence embedding
引言
在神经网络泛滥的时候,这篇文章像一股清流,提出了一个无监督的句子建模方法,并且给出了该方法的一些理论解释。通过该方法得到的句子向量,在STS数据集上取得了不输给神经网络的效果。
句子建模算法
作者将该算法称之为WR。
W表示Weighted,意为使用预估计的参数给句中的每个词向量赋予权重。
R表示Removal,意为使用PCA或者SVD方法移除句向量中的无关部分。
输入:
预训练的词向量{
待处理的句子集合
参数a(论文中建议a的范围:
词频估计{
输出:
句子向量{
实验结果
这是文中的第一个实验——句子相似性评价。
实验使用的数据集都是公共数据集,在这些数据集上方法都取得了不输给RNN和LSTM的表现。
但是在情感分析方面,该方法不及RNN和LSTM,作者分析的了可能原因:
1. 算法使用的词向量(word2vec, glove等)大都基于分布式假说——拥有相近上下文的单词具有相近的意思,但是这些词向量对句子中的antonym problem(我的理解是句子中会出现转折)的感知能力有限。
2. 对于预估计词频来确定权重的方式,在情感分析中可能不是很有效。例如,单词”not”在情感分析中是非常重要的,但是在确定权重时,采用的词频估计会导致其难以在情感分析中发挥作用。
实验复现
作者在Github上开源了该算法代码,于是我在此基础上,对作者的实验继进行复现,实验代码在我的github上
实验结果:(黄色背景的数据为论文中数据,用来和我的实验数据进行比较)
部分数据存在缺失,可能是忘记记录了,但是实验效果和论文基本一致。
总结
这种句子的建模方式非常高效且便捷。由于这是一种无监督学习,那么就可以对大规模的语料加以利用,这是该方法相比于一般有监督学习的一大优势。
通过对实验的复现,发现运行一次程序只需要十几分钟,并且主要的运行耗时都在将词向量模型载入内存这个过程中,这比动不动就需要训练几周的神经网络模型确实要好很多,并且在这个词相似性任务中,与神经网络旗鼓相当。
- A simple but tough-to-beat baseline for sentence embedding
- [NLP论文阅读]A simple but tough-to-beat baseline for sentence embedding
- [NLP]论文笔记-A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
- PCANet: A Simple Deep Learning Baseline for Image Classification?(精读)
- 《PCANet: A Simple Deep Learning Baseline for Image Classification》
- [ICLR2017]A Structured Self-attentive Sentence Embedding
- To be a tough man
- For sql tuning--a simple sql but need tuning
- A sentence for a day
- 论文引介 | A Structured Self-attentive Sentence Embedding
- [NLP论文阅读] A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING
- 《PCANet: A Simple Deep Learning Baseline for Image Classification》精读笔记
- 笔记-论文-PCANet A Simple Deep Learning Baseline for Image Classification?
- 《PCANet: A Simple Deep Learning Baseline for Image Classification》中文翻译总结
- 《PCANet: A Simple Deep Learning Baseline for Image Classification》中文翻译总结
- [Paper 学习笔记]PCANet: A Simple Deep Learning Baseline for Image Classification?
- 论文PCANet: A Simple Deep Learning Baseline for Image Classification?的matlab源码解读(一)
- 论文PCANet: A Simple Deep Learning Baseline for Image Classification?的matlab源码解读(三)
- servlet生命周期
- javascript replaceAll js替换重复处理
- org.apache.hadoop.io.nativeio.NativeIO$Windows.access0
- 只有技术没有运气会怎样?一个程序员的运气有多重要?
- 第十一课:歌手详情抓取
- A simple but tough-to-beat baseline for sentence embedding
- ThinkPHP5.0 文件操作的错误记录
- 使用okhttp忽略https的证书认证
- Unity Coroutine 简单理解
- 【持久化框架】Mybatis简介与原理
- 《java与模式》-10 原始模型模式
- Python安全小工具之Web目录扫描器
- 读《哪有没时间这回事》有感
- 【java基础】函数的可变参数类型