浅层深度学习的自然语言研究（3）

这期主要讲Paragraph Vector。

在上一期http://blog.csdn.net/yuwen123/article/details/39312885中，我们已经了解了Word2Vec在Distributed Representation方式表示的词向量的学习构建中的突出性能，但是对于词的学习理解只是文本处理的第一步，从词上升到句子、篇章才是我们的目标，因此我们这一期主要就是探讨这个问题。

如果我们只是采用将Word2Vec建立的词向量的简单求和来表示句子或者篇章的向量，那么这将导致大量的信息丢失，包括语义和词序等方面。因此，这种方法并不可取，但是如何在保留语义和词序信息的基础上，建立有效的句子或者篇章的向量（Paragraph Vector）？这个问题困扰了我很久，直到读了Quoc,L.和Tomas, M.两人在2014年ICML上的大作之后。才算找到了满意的答案。这篇文章的具体信息：

Quoc Le, TomasMikolov. Distributed Representations of Sentences and Documents.Proceedings of the 31st International Conference on MachineLearning, Beijing, China, 2014. JMLR:W&CP volume 32.

Quoc Le的解决方法相当的巧妙，主要是在Word2Vec基础上，增加了一个文章编号，每篇文章的编号唯一，并将其看成另外的一个词，存在于每篇文章的整个训练过程中。他提出的两个模型分别为：DistributedMemory Model of Paragraph Vectors (PV-DM)和Distributed Bag of Words version of Paragraph Vector (PV-DBOW)，模型的结构分别如图1和图2所示。

                                                               图1.PV-DM

                                           图2.PV-DBOW

看了算法之后，发现其实实现起来比较简单，就是增加了一个文章编号，其它的和Word2Vec基本一样。训练过程中，文章编号唯一，不共享，存在于每篇文章的整个训练过程；文章中的词向量也是唯一的，但是每篇文章之间是相互共享的。训练还是以固定窗口的模式，逐步带入，遍历所有的文本进行训练。从这篇文章的结果来看，PV-DM的效果最为明显，PV-DBOW有一定的影响（有1%-2%左右的提升）。算法最后运用到情感分类和文本检索中，效果非常显著。

我看了之后，很少兴奋，觉得终于找到一个方法解决自己的问题了，但是作者并没有公布程序，我就只能根据作者的思路去改Word2Vec，经过一周左右的看程序跑程序，终于实现了PV-DM，后面的PV—DBOW可能有一定影响，但不是主要。还是运用我们天涯的样本，切词然后进行学习，我给每篇文章加入帖子编号为Thrpos+编号。我这里先不展示大批量测试的结果，先给大家看几个例子（随机选的），由于文本太长，我这里只展示帖子的题目进行说明：

上图的结果是我对于帖子编号为Thrpos20000的帖子，查找与它最相似的帖子，结果中给出了前40个结果，其中也有非帖子项，需要在程序中进一步踢出，那我们来看看这些帖子是什么内容：

Thrpos200000

为 陈一 冰盖 楼 ！ 真正 的 冠军 应该 是 你 ！ 　 　 看 了 今晚 的 吊环 决赛 ， 真心 觉得 裁判 眼瞎 ， 觉得 这 届 奥运会 的 部分 裁判 非常 的 针对 中国 的 选手,可惜 了 那些 中国 的 实力派 运动员 们 啊 ！ 加油 ！陈一冰 ！ 今晚 你 的 表现 无懈可击 ，你 是 我们 心目 中 真正 的 冠军 ！ 吊环 王- - -你 当得起 ！ 拿到 银牌 以后 你 大度 的 友好 的 笑容 更加 彰显 了 你 的 王者 风采 ！ 为 你 自豪 ！ 祝福 你 有 一个 新 的 更好 的 开始 ， 取得 人生 更 大 的 成功 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！ 加油 ！

Thrpos200297

裁判 ， 请 给 他 一个 不 夺冠 的 理由 　 文/奔 三路 二 　 昨晚 的 体操 男子 吊环 项目 的 冠军 在 北 格林威治 竞技场 决出 ， 中国 选手 陈一冰 尽管 完美 的 完成 了 整套 动作 ， 但是 最终 仍以0.1分 的 劣势 不敌 下法 站立 不稳 的 巴西 选手 纳巴 拉特 ……

Thrpos202608

如果 你 是 刘翔 ！ 　 　 如果 你 是 刘翔 　 　 如果 真的 是 没 能力 摘牌 了 　 　 面对13亿 中国 人 你 敢 放弃 吗 　 　 如果 你 是 刘翔 　 　 如果 真的 是 天意 弄 人 　 　 在 经历8年 的 努力 之后 　 　 身后 还 会 传来 一阵 嘲讽 谩骂 你 会 做 何 感受……

Thrpos195552

国羽 女双 没错 ， 白岩松 没错 ， 别 往 运动员 的 伤口 上 撒盐 　1在 已经 出线 的 情况 下 ， 保存实力 是 运动员 普遍 的 选择 ， 这 是 为了 在 下面 的 比赛 中 更好 的 发挥 ， 与 消极 比赛 有 什么 关系 ？ 　2规则 出 了 问题 ， 不 反省 自己 的 过错……

Thrpos162243

纳尼 称 西班牙 只是 运气 好 葡萄牙 可以 昂首 离开 　 　 在 通过 点球 大战2 - 4不敌 西班牙 无缘 决赛 后 ， 葡萄牙队 边锋 纳尼 认为 球队 的 表现 值得 所有 人为 之 自豪 ， 但 指出 西班牙队 要 比 他们 更加 幸运 。 　 　 纳尼 说 ： “ 我们 通过 了 极大 的 努力 才 来到 这里 ， 在 这样 一场 比赛 后 以 点球 的 形式 被 淘汰 真是 太 难过 了 。……

Thrpos212947

奖牌 诚可贵 ， 付出 价 更 高 　 　 奖牌 诚可贵 ， 付出 价 更 高 　 　 随着 奥运 圣火 的 点燃 ， 四年 一度 的 体育 盛事 又 一次 在 万众瞩目 中 拉开 了 帷幕 。 就算 不能 到 现场 为 自己 喜欢 的 运动员 加油 呐喊 ， 每天 的 奥运 直播 、 转播 也 成 了 奥运 迷 们 唯一 的 电视节目 ， 随时 关注 奥运 金牌榜 更是 众多 体育迷 每天 的 必修课 。 　……

Thrpos200155

中国 又 被 黑 ， 陈小冰 金牌 表现 竟 得 银牌 ！ 　 　 我们 中国 又 被 人 黑 了…轮 蹲 啊 轮 蹲 　 　 纳巴 列特 以0.1分 险胜 “ 吊环 王 ” 陈一冰 获得 金牌 。 　 　 名将 李小鹏 在 解说 中 表示 不可思议 ，……

Thrpos197879

伦敦 ， 你 告诉 我 什么 是 奥运 精神 ？ ！ 　 　 国际羽联 的 规则 让 中国 球员 提前 相遇 厮杀 ， 让 水平 高 的 选手 人为 设置障碍 无法 进入 更 高 的 平台 比赛 。 让 决赛 不是 最高 水平 比赛 ， 这 叫tmd奥运 精神 ！ 　……

Thrpos287501

皮划艇 比赛 现场 ， 看 精彩 的 进来~ ~ ~　 　 “ 帅康 杯 ” 宁波 首届 皮划艇 艺术节 ， 昨天 在 东钱湖 度假村 纪家庄 比赛 结束 了 。 　 　 　 　 这次 活动 办 得 很 成功 ， 你 看 ， 来 围观 的 人 真多 ， 把 马路 都 堵 得 水泄不通 。…… 　　

Thrpos195144

焦 刘洋200蝶泳 指天 夺冠 日本 ， 申述 ？ 韩国 ， 并列 ？ 裁判 ， 打分 ？ 哼 ！ 　 　 北京 时间8月3日 凌晨 ， 在 女子200米 蝶泳 的 决赛 中 ， 北京 奥运会 的 冠亚军 得主 刘子歌 与 焦 刘洋 联手 出击 ， 结果 焦 刘洋 不负众望 ，……

Thrpos206569

刘翔 表示2016年 还 可赛 。 如果 到时候 再次 退 赛 ， 大家 还要 继续 支持 他 哦 　 　 刘翔 第二次 因 伤 退 赛 ， 不少 人 质疑 ， 但是 还有 很多 人 是 支持 刘翔 的 ， 为 刘翔 加油 ， 骂 死 那些 翔 黑 ！…… 　

从帖子的内容看出，这些帖子都是关于体育方面的，相似度还是较高。再来看一个例子，

我们也看看这些帖子的内容，

Thrpos300000

中国武术 与 道家 的 阴阳 学说(转载)

Thrpos430884

全维 易学 ——群 科 之首 大道 之 源

Thrpos362288

太极 养生 　

Thrpos262576

武当 秘传 太极拳 培训 ， 随 到 随 学 ， 一对一 或 团队 学习 都行

Thrpos314385

长春道 一堂 告诉 你 任督 二 脉 并 不 神秘 　

Thrpos331468

太极 运动 在 “ 治 未 病 ” 中 的 实施 　

Thrpos451552

玄空 挨 星 　 　 经 云 ： 惟有 挨 星 最为 贵 ， 泄漏天机 秘 ，

Thrpos356523

太极 养生 　 一 ） 生理 效益 ： 太极拳 结合 了 传统 导引 、 吐纳 的 方法

Thrpos296467

 练 太极拳 的 心得 　 　 练拳 贵在 专一 ， 专一 则 精熟 ， 精熟 而 意味 日

Thrpos396195

 探讨 易经 八卦 ： 破解 人生 的 幸运 密码 （ 交友 帖 ， 持续 在线 ）

Thrpos385001

太极 养生 ， 可使 人体 的 阴阳 平衡 (转载)　 　

这些帖子都是太极、武术等相关内容，但是他们共同的词其实很少，但是相似度很高，采用原来的One-hot Representation根本就没有办法判断这些结果。

好了，今天就到这里吧，下次展示大批量学习的结果。