Deep Learning based Recommender System: A Survey and New Perspectives （3）

感想

这篇综述有点长，整整三十五页，我也花了很长时间读完，那么我现在也会不遗余力的写完，let's continue

4.4 基于循环神经网络的推荐系统

RNN特别适合处理推荐系统中的时序评分和序列化特征。

4.4.1 仅仅依赖于RNN的推荐

Session-based Recommendation with RNN

在许多真实世界应用和网站中，系统通常不会干扰用户的登录，以至于推荐系统没有获得用户长期消费习惯和长期的兴趣。可是，session或者cookie机制使得那些系统获得用户的短期偏好。这在推荐系统中不是一个相对受重视的任务，因为训练数据太稀疏了。Hidasi等人提出了基于session的推荐模型.

如上图，模型基于GRU.输入是session的实际状态，用1-of-N进行编码，N是物品的数量。在这个session中，如果坐标对应的物品处于活跃状态，那么就置1，否则为0.输出为这个session中每个物品的下一个状态的可能性。为了高效的训练提出的框架，作者提出了一个session-parallel mini-batches算法和一个为输出采样样本的方法，评分损失定义如下：

其中S为样本的大小，r ̂_si和s ̂_sj是session s时的负物品和正物品的分数，σ是一个logistic sigmoid函数。最后一项用于正则化。
接下来的工作提出了很多策略来改进这个模型：

a)     用序列预处理和dropout正则化来增强点击序列。

b)     通过用所有的训练数据做预训练来适应时序变化，用最近的点击序列来微调模（fine-tuningthe model）。

c)     用教师模型来提取有优先特权信息的模型。

d)     使用物品嵌入来减少参数的数量，加快计算。

Wu等人设计了一个基于session的推荐模型，用于真实世界的电子商务网站。它利用基本的RNN来预测，基于点击历史来预测用户接着要买什么。为了最小化计算代价，它只保留了有限数量的最新状态，把旧的状态放入到一个历史状态中。这个方法帮助实现计算代价和预测精度的均衡。
前面所述的三个session-based的模型没有考虑任何的边信息。但有两个研究拓展证明边信息对增强session推荐质量是有效的。Hidasi等人提出了一个基于session推荐的并行结构，它利用三个GRU学习相同的one-hot向量表示、图片特征向量表示、文本特征向量表示，这三个GRU的输出利用权重连接，然后用一个非线性激励来预测这个session下的下一个物品。Smirnova等人一个上下文感知的基于session推荐系统，基于条件RNN，对输入和输出层注入上下文信息，这两个模型的实验结果表明融合额外信息的模型的表现比仅基于历史交互的模型更好。

Recurrent Recommender Network (RRN)

这是一个建立在RNN上的非参数推荐模型，它可以对物品随时间的季节变化和用户偏好的变化进行建模。RRN使用两个LSTM网络作为建立块，来对动态用户状态u_ut和物品状态v_it进行建模。与此同时，考虑固定属性，例如用户的长时兴趣（user long-term interests）和物品静态特征（item static features），模型也融合了用户和物品的固定潜在属性(stationary latent attributes)：u_u和v_i.时刻t,给定用户i, 预测的物品的评分为：

其中，u_ut和v_it是从LSTM中学习到的，u_u和v_i.是从标准的矩阵分解中学到的。优化是最小化预测和真实评分值之间的平方误差。
Wu等人进一步改进了RNN.同时对文本评论和评分进行建模。不像其他模型，利用文本评论来增强推荐模型，这个模型旨在产生评论，通过利用用户和物品的潜在状态的字符级别的LSTM网络。评论生成任务可以被看成是促进评论预测的辅助任务，模型可以提升评级预测的精度，但不能产生连贯的并且可读的文本。深度复合粒子（deep composite）模型NRT可以产生可读的评论提示（readable review tips）。

Neural Survival Recommender

Jing等人提出了一个多任务学习框架，能同时预测和返回用户和推荐物品的时间，返回时间预测是受生存分析模型的启发，是为估计病人生还的可能性而设计的。作者修改了这个模型，使用LSTM来估计消费者的返回时间（returning time）。也进行了物品推荐，通过LSTM，利用用户过去的session actions. 和前面所说的基于session的推荐不一样，前面模型关注的是在相同session下的推荐，这个模型旨在提供session间的推荐，NSR的目标函数定义为：

其中T表示时间点，s_u表示用户u在过去session动作（past session actions），Lrec和Lsur是分别是推荐模型和生还模型的损失函数，α扮演的是平衡这两个组件的控制器。

Attention based RNN

Attention机制可以用于基于RNN的推荐，Li等人提出了一个基于LSTM的attention模型，用于hashtag推荐，这个工作利用了RNN和attention机制来捕获序列化的属性，并且识别微博posts上的有信息的单词。首先，这个模型使用LSTM来学习微博posts上的隐藏状态[h1,h2,…,hN]，与此同时，利用话题模型LDA去学习posts的话题分布，话题的attention [a1,a2,…,aN]从这个分布中得到，经过一系列的非线性转换和softmax规范化后，attention过滤后的输出为

vec=∑_(j=1)^P▒〖a_j h_j 〗

其中，P为posts的长度，模型通过最小化交叉熵来训练。

4.4.2 把RNN融入到传统的推荐系统中

GRU Multitask Learning

Bansal提出使用GRU来把文本序列编码成潜在因子（latent factor）模型：

其中b_i和b_u分别为物品和用户的偏置，X_i是物品内容信息的文本嵌入：

其中，g(Xi)代表GRU，用来对词序信息进行建模，V ̃_i是一个物品特定嵌入，用来捕获内容信息不能得到的行为。混合模型解决了热启动（warm-start）和冷启动（cold-start）两个问题。如有冷启动物品，V_i简单的设置为0。作者采用了一个多任务正则项来防止过拟合和缓解训练数据的稀疏性。主要的任务是评分预测，而辅助任务是物品的元数据（例如tags，genres）预测。
Dai等人提出了一个协同进化潜在模型，用来捕获用户和物品的潜在特征的协同进化本质，用户和物品之间的交互在驱动用户偏好和物品状态的的变化扮演着重要的角色。作者提出使用RNN来自动从流动，进化，以及用户和物品的协同进化中表示产生的影响。
Okura等人提出使用GRU来对用户的浏览历史学习出更具有表现力的聚合，并且用潜在因子模型推荐新闻文章。结果表明，该模型比传统的基于单词的方法要好上很多。这个系统已经完全部署到在线产品服务上，每天为超过千万的用户服务。

4.5 基于深度语义相似度模型的推荐系统

深度语义相似度模型（Deep Semantic Similarity Model，DSSM ）是一个深度神经网络，广泛用于信息检索领域，这也及其适合top-n推荐，DSSM把不同的条目映射到一个公共的低维空间，用cosine函数来计算他们的相似度。基本的DSSM由MLP组成，而更先进的神经层可以很容易的加入其中，例如卷积核最大池化层。

基于深度语义相似度的个性化推荐（DSPR）

DSPR的结构如上图，它是一个tag感知的个性化推荐系统，用户x_u和物品x_i用tag annotations表示，把它们映射到一个公共的tag空间，我们用余弦相似度和softmax函数来决定用户和物品的相似度。

其中，f(·)表示前馈神经网络，相似度通过softmax转换为概率的形式。这里，u和i和web搜索问题中的查询和记录语料库很相似。P(i|u)衡量的是用户u和物品i的交互概率。

这里，ℽ是softmax函数的一个平滑因子（smoothing factor），DSPR的损失函数为：

其中（u,i*）是训练集，由用户和他们喜欢的物品对组成，和一些随机采样的他们不喜欢的物品。

Multi-View Deep Neural Network（MV-DNN）

MV-DNN是为交叉域推荐（cross domain recommendation）而设计的，它把用户作为枢轴视图，每个域（假设我们有Z个域）作为辅助视图。显然，对于Z用户域对有Z个相似度得分，MV-DNN和前面提到的基于MLP的CCCFNet很相似，但是CCCFNet不包含任何相似度和后验概率估计。

其中θ为模型的参数，ℽ是平滑因子，Y_u是用户视图的输出，a是活动视图的索引，R^da视图a的输入域。MV-DNN可以按比例增加到许多域。可是，它基于的假设是用户在一个域内有相似的品味，那么在其他的域内也有相似的品味。直觉上讲，假设在许多情况下都是不合理的。因此，我们应该对不同域有一定的预备知识，这样才能最大限度的利用MV-DNN。

4.6 基于RBM的推荐系统

RBM协同过滤（RBM-CF）

Salakhutdinov等人提出了基于RBM的推荐系统。据我们所知，它是第一个建立在深度学习上的推荐模型，RBM的可见单元限制为二进制值，因此评分分数用one-hot向量表示以适应这个限制。例如，[0,0,0,1,0]代表用户对物品的评分为4，令hj, j=1,2,…,F表示隐藏单元，固定大小为F，每一个用户有一个唯一的RBM，共享参数。假设一个用户评分了m个电影，可视单元的数量是m，令X为一个Kxm的矩阵，其中，如果用户u对电影i进行了评分，则x_i^y=1，否则为0.然后：

其中，W_ij^y代表权重，表示电影i的评分y和隐藏单元j的连接，b_i^y电影i的评分y的偏置，b_j是隐藏单元j的偏置。RBM不容易处理，但是参数可以通过Contrastive Divergence（CD）算法学到。
作者进一步提出了条件RBM，融合了隐式的反馈（implicit feedback）。让一个长度为M的二分向量t代表隐式反馈（S），如果用户对电影进行了评分，这个条目就是1，否则就为0.这里的本质是用户通过给予评分隐式的告诉了他们的偏好，这和SVD++的隐士反馈一样。之后，隐藏单元的条件概率为

其中，D_ij是权重矩阵，控制着t对隐藏单元的影响。

RBM-CF.的结构如上图。
上面两个模型是基于用户的RBM-CF模型，其在可见层上给定一个用户的评级。相似地，如果我们要在可见层给定物品评级，我们可以很容易的设计一个基于物品的RBM-CF。Georgiev等人提出了一个同时基于用户和基于物品的RBM-CF合一框架。在这种情况下，可见单元同时由用户和物品的隐藏单元决定。让x_ui为用户u对物品i的可见单元，重构值由下面的公式表示：

这个方程包含基于用户和基于物品的影响，

上图为结合的模型。

Hybrid RBM-CF

Liu等人设计一个混合的RBM-CF，它把物品的特征融入到RBM协同过滤。这个模型也基于conditional RBM，这个混合模型和有隐式反馈的conditional RBM-CF有两个区别：（1）这里的条件层用二进制物品类型进行建模；（2）条件层以不同的连接权重同时影响了隐藏层和可见层。这个模型可以很容易的用下面的表示：

其中fq是类型特征向量，C是总特征集合的大小，D和D`是隐藏单元和可见单元的连接权重，参数可以通过CD算法学习。

4.7 新出现的方法：NADE和GAN

这里，我们描述两种新出现的方法：基于NADE和GAN的推荐系统。NADE代表一个近似真实源数据的tractable模型，并且在评级预测的一些数据集（和其它基于深度学习的推荐模型）上取得了最高的精度，GAN可以融合判别模型和生成模型，具有两种思想流派的观点。

4.7.1 基于Neural AutoRegressive的推荐系统

如上所述，RBM是不tractable的，于是我们通常使用Contrastive Divergence算法来近似参数的log-likelihood 梯度, 这也限制了RBM-CF的使用。NADE( Neural Autoregressive Distribution Estimator)是一个tractable的分布估计器，它是RBM的理想的替代品。受RBM-CF的启发，Zheng等人提出了一个基于NADE的协同过滤模型（CF-NADE）。CF-NADE对用户评分（user ratings）进行建模。

假设我们有4部电影：m1（评分为4），m2（评分为2），m3（评分为3），m4（评分为5）。 CF-NADE是利用链式法则得到的评分向量r的联合概率：

其中D是用户评分的物品的数量，o是排列（1,2，…,D）中的D元组（D-tuple）, mi是第i个评分物品的索引，r_(〖mo〗_i )是用户给物品m_oi的评分。
更特别的是，（1）用户给m1 四星的概率不条件依赖于其它项；（2）用户给m2 两星的概率条件依赖于m1 四星；（3）用户给予m3 3星的概率条件依赖于m1 4星和m2 2星；（4）用户给m4 5星的概率条件依赖于m1，m2,m3。
理论上地，电影的顺序应该遵循评分的时间轴。可是，经验研究表明drawing也得到了好的结果。这个模型可以拓展到一个深度模型，在接下来的文章，Zheng等人融入了隐式反馈来克服评分矩阵的稀疏问题。

4.7.2 基于GAN的推荐系统

IRGAN是第一个把GAN应用到信息检索领域的，特别地，作者证明了它在三个信息检索任务上的能力：网页搜索（web search），物品推荐（item recommendation），问答（question answering）。本次，我们只关注怎样使用IRGAN做物品推荐。
首先，我们介绍IRGAN的一般框架。传统的GAN由判别器和生成器组成，可能，在信息检索上有两个思维方式，即生成式检索和判别式检索。生成式检索假设在文档和查询上有一个潜在的生成过程，通过生成文档d和查询q来用于检索任务；判别检索学习去预测给定查询文档对的相关性得分r。IRGAN的目标是把两种思维方式融合到一个模型，使得他们项GAN的判别器和生成器那样玩minmax游戏。生成式检索目标是产生和ground truth有相关性文档，以此来欺骗判别检索模型。
正式地，令p_true (d|q_n,r)为用户的相关性或偏好分布，生成检索模型p_θ (d|q_n,r)尝试近似真实的相关性分布，判别检索f_∅ (q|d)试图区分相关文档和不相关文档。和GAN的目标函数相似，整个目标的表示：

其中，σ代表sigmoid函数，∅ 是判别检索的参数，θ是生成检索的参数，∅和θ可以用梯度下降来学到。

上面的目标方程用于pointwise相关性估计。在一些特定的任务上，它应该是两两范式，产生高质量的得分列表。这里，假设p_θ (d|q_n,r)为一个softmax函数：

其中，g_θ (q,d)从查询q中产生文档d的几率。在真实世界检索系统中，g_θ (q,d)和f_θ (q,d)是任务指定的（task-specific）.他们要么有相同的公式要么有不同的公式。为了收敛，作者用了同样的函数，定义为：
g_θ (q,d)=s_θ (q,d) f_θ (q,d)=s_∅ (q,d)

在物品推荐的情景下，作者采用了矩阵分解，用s(‘)表示：

其中b_i是物品i的偏置，U_u和V_i用户u和物品i的潜在向量，这可以用更高级的模型来替代，例如因子机（factorization machine）或者神经网络（neural network）。
这两种方法取得了不错的结果，但是很多还有待去探索。我们建议接下来的工作是融入更多的辅助信息源到这两种模型，或者把它们加入到其它强有力的深度复合模型（deep composite models）。

5 用于推荐的深度复合模型

这次调研中包喊了8种类型的深度学习技术，如果我们通过结合其中两种技术来定义深度复合模型，我们有C_2^8=28种形式的复合模型（composite models），如果结合更多的深度学习技术，复合模型就会更多，每一个深度复合模型应该合理的并且小心的为特定任务而设计。在这节，我们总结了现有的已经被证明在一些应用领域有效的模型。

上图表示的是现有的深度复合模型的结合方式。

5.1 CNN and Autoencoder 

基于协同知识的嵌入（Collaborative Knowledge Based Embedding，CKE）结合了CNN和autoencoder用于图片特征提取，CKE可以被看作是CDL的未来一步。CDL仅考虑物品的文本信息（例如文章的摘要，电影的情节），而CKE以不同的嵌入技术来利用结构内容，文本内容，视觉内容；结构信息包含物品的属性，用户和物品的关系。CKE采用了TransR来解释结构内容，TransR是一个异构网络嵌入方法（heterogeneous network embedding method）。相似地，CKE利用SDAE从文本信息中学习特征表示;至于视觉信息，CKE采用栈式卷积auto-encoder（SCAE），SCAE高效的利用了卷积，把SDAE的全连接层用卷积层代替。推荐的过程以一种概率的形式，和CDL相似。

5.2 CNN and RNN

Lee等人提出了一个RNN和CNN的复合模型，用于引用推荐（quotes recommendation）。在给定查询文本和对话（每个对话包含一串tweets）下，引用推荐被看做是产生引用列表的任务.它应用CNN来从tweets中学习有意义的局部语义，把他们映射到一个分布向量上（distributional vectors），这个分布向量进一步用LSTM来处理，用来计算给定tweet对话下的目标引用（target quotes）。其整个结构图如下

Zhang等人提出了一个CNN与RNN的复合模型，用于hashtag推荐。给定一个tweet和与之对应的图片，作者利用CNN来从图片中提取特征，利用LSTM来从tweets中学习文本特征。与此同时，作者提出了一个co-attention机制来对相关性影响建模，平衡文本和图片的分布。
Ebsesu等人提出了神经引用网络（neural citation network），它把CNN和RNN融入到了encoder-decoder框架，用于引用推荐（citation recommendation）。在这个模型中，CNN扮演的是encoder, 从引用上下文中捕获长短时依赖；RNN扮演的是decoder,在给定所有前面的单词和CNN获取的表达的情况下，来学习预测在这篇引用文章的标题的单词的概率。

5.3 CNN and MLP

Lei等人提出了结合CNN和MLP比较深度的模型，用于图片推荐。这个网络包含两个CNN,用于图片表示学习，用MLP对用户偏好建模。它比较了两张图片（一张用户喜欢的正样例图片，另一张用户不喜欢的图片）。训练数据由三元组组成：t（用户U_t，正图片I_t^+，负图片I_t^-）.假设用户和正图片的距离为：D(π(U_t ),∅(I_t^+))，用户和负图片的距离为： D(π(U_t ),∅(I_t^-))，
D(π(U_t ),∅(I_t^+))应该比D(π(U_t ),∅(I_t^-))更近，D(‘)是距离度量（例如欧几里得距离）。为了产生更好的排序列表，我们应该最大化负图片和正图片之间的差别：

其中，

π对应MLP映射，Ф对应CNN映射，σ代表sigmoid函数。J是一个指示器，如果(i=I_t^+,j=I_t^-)且(i=I_t^-,j=I_t^+)，则J=0，其比较深度学习模型（comparative deep learning model）结构如下：

5.4 RNN and Autoencoder

前面提到的协同深度学习模型缺乏鲁棒性，缺乏对文本序列建模的能力。Wang等人进一步把RNN和autoencoder融合，来克服这个限制。作者首先设计了一个一般的RNN,叫做鲁棒循环网络（robust recurrent network）。基于鲁棒循环网络，作者提出了层级的贝叶斯（hierarchical Bayesian）推荐模型，叫做CRAE。CRAE也由编码和解码两部分组成。但是它用RNN替换了前馈神经网络，这使得CRAE能够捕获物品内容信息的序列化信息。此外，作者设计了wildcard denoising和bet-pooling技术，以防止模型过拟合。

5.5 RNN and MLP

NRT是一个在多任务学习框架中结合MLP和RNN的复合模型，如下图：

NRT可以预测评分，同时为用户产生文本提示（textual tips）。针对特定产品，产生的提示提供了准确的意见，预计的用户体验和感觉。评分预测任务用MLP建模，对物品和用户潜在因子进行非线性变换，U∈R^(k_u×M), V∈R^(k_v×M),其中，k_u和k_v是用户和物品的潜在因子维度（latent factor dimensions）。预测评分r_ui和两个潜在因素矩阵输入到GRU网络中，用于产生tips。这里, r_ui作为环境信息，用来决定产生的tips的情感。多任务学习框架使得整个模型能够高效的进行端到端的训练。

5.6 CNN and DSSM

Gao等人提出了一个兴趣感知的推荐系统，根据他们读的源文档s，结合DSSM和CNN来对目标用户推荐文档t。不像传统的DSSM和DSPR，作者对隐藏层添加了卷积和最大池化操作，卷积核最大池化层用于分别捕捉局部和全局特征。另一个重要的改变是，不使用最大似然（maximizing the likelihood），作者提出了一个成对训练技术，它计算兴趣性分数的差别：∆=sim(s,t1)-sim(s,t2),其中t1是偏好的，它的兴趣性分数比t2更高，然后最大化Δ。这两项技术与传统的DSSM相比，提升很大。

5.7 RNN and DSSM

Song等人设计了一个时序DSSM模型，把RNN融入到DSSM中用于推荐。基于传统的DSSM，TDSSM用物品静态特征来替换左边的网络，用两个子网络来替换右边的网络，这样对用户静态特征（user static features，MLP）和用户时序特征(user temporal features, RNN)进行建模，TDSSM的损失函数定义如下：

其中ti表示时间点i，时序动态的加入增加了模型的参数，因此，作者提出了用预训练来加速模型参数学习过程。

6 未来的研究方向和公开问题

当前的深度学习技术帮助建立实体基础，以增强推荐系统。涌现的大量的应用于推荐系统的深度学习技术会使得现在传统的推荐系统向深度推荐系统转变，这里，对于未来基于深度学习的演化，我们确定了几个新兴的研究趋势。

6.1 用户和物品的深度理解

做精确的推荐需要对物品的特点和用户的需求做深度的理解，这可以通过利用大量丰富的辅助信息来获得。例如，上下文信息（context information）会根据用户的环境和周围的事物来调整服务和产品，缓解冷启动的影响；隐式反馈意味着用户的隐式意图，并且很容易筹集，而收集显式反馈是一个资源需求任务（resource-demanding task）。尽管现在的工作已经调查了深度学习在挖掘用户和物品画像，隐式反馈，上下文信息，评论文本应用到推荐的效果，但是他们没有以全面的方式来利用这些边信息，未能完全利用现有的数据。另外，从社交网络和真实世界（Internet of things）来调查用户的足迹（Tweets or Facebook posts）的工作很少。我们可以从这些边数据源来推断用户的时序兴趣和意图，而深度学习是一个能融合这些信息的强有力的工具，深度学习处理异构数据源的能力也对推荐的多样性带来了更多的机会，这些物品往往是非结构化数据，例如文本，视觉，声音和视频特征。
对用户和物品的深度理解的另一方面是通过特征工程。特征工程还没有在推荐社区被完全研究，但是在工业应用中应用很普遍。可是，大多数现有的模型手工制作和选择的特征，但这是非常耗时且枯燥的。深度神经网络是一个减少人工干预的很理想的工具。加强深度特征工程在推荐系统反面的研究能够节省人力，也改进了推荐的质量。

6.2 深度复合模型（Deep Composite Models）

deep composite model结合了多种深度神经网络，能有效的对推荐系统中的决定因子（例如，用户，物品，上下文等等）的异构特征进行建模，但是把多种深度学习技术结合在一起来增强性能的研究很少。尽管如此，和可能的拓展相比，这些尝试是非常有限的，例如，autoencoder可以和DSSM融合，用来捕获特征之间的相似度。注意到，遵循的一般规则为，模型应该以敏感的方式设计，而不是随意的，并且要为实际的需要调整。

6.3 Temporal Dynamics

在推荐的时间动态上的第一个拓展是对session进行建模，尽管基于session的推荐系统不是一个新的研究领域，但是还有很多没有研究。和基于传统推荐的静态偏好相比，基于session的推荐系统更适合动态的时序的用户的需求。追踪用户的长时交互对许多网站和移动应用来说是不适用的，但是，短时的session通常可以得到，并且可用于辅助推荐过程。最近几年，RNN已经被证明它对于session的建模的优越性，拓展的工作，例如把辅助信息融入到RNN，把其它深度学习技术应用到基于session的推荐可以进一步进行。
第二，用户和物品的进化和共同进化是时序影响的重要方面。因为用户和物品的进化可以是单独的也可以是共同的。例如，app随着时间改变，新版本的更替等等。深度序列模型是一个对进化和共同进化影响建模的理想化工具，也是一个映射潜在时序本质建模的理想化工具。

6.4 Cross Domain Recommendation

现今，许多大公司为消费者提供多样化的产品和服务。例如，Google为我们提供网页搜索，手机应用和新闻服务；我们可以从Amazon买书，电器和衣服。单域推荐系统只关注一个域，而忽略了其它域的用户兴趣，这也使得稀疏性和冷启动问题更加严重。交叉域推荐系统为这些问题提供了一个很好的解决方案，它用源域学来的知识来辅助目标域推荐。在交叉域推荐中的一个被广泛研究的话题是迁移学习，它旨在用其它域学来的知识来提升原域的内容。深度学习非常适合迁移学习，因为它学习到了高级抽象，这摆脱了不同域的变化性。一些现有的工作表明深度学习在捕获不同域的一般性和差别的功效很好，以及在交叉域平台上产生了更好的推荐。因此，这是一个有前景，还有很多未开发的领域，在这方面期望有更多的研究。

6.5 Multi-Task Learning

多任务学习已经在血多深度学习任务上取得了成功，从计算机视觉到自然语言处理。在这些回顾的研究中，一些工作也把多任务学习应用到了深度神经框架下的推荐系统，并且在单个任务学习上取得了一些进步，应用基于深度神经网络的多任务学习的有点有三点：（1）一次学习多个任务，通过泛化共享的隐藏表示，可以阻止过拟合；（2）辅助数据为推荐提供了可解释的输出；（3）多任务提供了隐式的数据增强，这能缓解稀疏问题。多任务可以用于传统的推荐，而深度学习使得他们以一种激励的方式来集成。除了介绍边任务，我们也把多任务学习用于交叉域推荐，每个特定的任务产生特定域的推荐。

6.6 Attention Mechanism

注意力机制是一个凭直觉的但是有效的技术，它可以应用到MLP，RNN，CNN，和其它许多深度神经网络中。例如，把Attention机制融入到RNN中，它可以使得RNN能够长的有噪声的输入。尽管LSTM可以理论上解决长记忆问题，但是当处理长范围的依赖的时候，它是有问题的。Attention机制提供了一个更好的解决方案，它帮助网络能更好的记忆输入。基于Attention的CNN能够捕获输入中有信息的部分。通过把Attention机制应用到推荐系统，它可以用attention机制来过滤掉没有信息的内容，选择最有代表性的物品，提供更好的解释性。

6.7 Scalability

大数据时代数据量的增加对真实世界的应用构成了挑战。结果，可拓展性是推荐模型在真实世界应用的关键所在，时间复杂度也是选择模型的时候考虑最重要的部分。幸运的是，深度学习已经被证明在大数据分析上非常有效且有前景。可是，未来的研究应该研究怎样高效的推荐，通过探索下面的问题：（1）非平稳流数据的增量学习，例如大量的涌来的用户和物品；（2）高维张量和多媒体数据源的计算效率；（3）随着参数指数性的曾展个，需要均衡模型复杂度和可拓展性。

6.8 Novel Evaluation Metrics

大多数前面的研究关注的都是准确性，要么旨在改进recall/precision，要么减少预测误差。可是，准确性对于长时高质量的推荐系统远远不够，甚至导致过于专一化。除了准确度，其它评估尺度，例如多样性，新颖性，机缘凑巧（serendipity）和范围（coverage），信赖（trustworthiness），隐私，可解释性，等等也同等重要。通过鼓励多样性和惊喜度，推荐系统会给那些意图不明确不确定的顾客带来跟多的价值；增加信任和隐私会减少用户的担忧，给予他们更多利用他们感兴趣物品的自由；好的解释性为每个推荐提供证据，展示更多可信任的结果给用户。因此，推荐系统不仅要对历史精确建模，也要给用户提供一个很好的体验。
这里解释一下serendipity：推荐和用户历史兴趣不相似但又让用户满意的（定性描述）

参考文献

[1]. 边信息（SideInformation）. http://blog.sina.com.cn/s/blog_64e21a0a0101etss.html

[2]. Probit. https://en.wikipedia.org/wiki/Probit

[3]. H. Brendan McMahan:Follow-the-Regularized-Leader and Mirror Descent: Equivalence Theorems and L1Regularization. AISTATS 2011: 525-533

[4]. Matrix norm. https://en.wikipedia.org/wiki/Matrix_norm#Frobenius_norm

[5].norm:https://cn.mathworks.com/help/matlab/ref/norm.html?requestedDomain=www.mathworks.com

[6]. Coordinate descent. https://en.wikipedia.org/wiki/Coordinate_descent

[7].坐标下降法. http://blog.163.com/liwei_ie/blog/static/2093111322013671439522/

[8]. 推荐系统的评测方法. https://www.cnblogs.com/mooba/p/6539688.html