Deep Learning based Recommender System: A Survey and New Perspectives (2)
来源:互联网 发布:网络改造方案 编辑:程序博客网 时间:2024/06/13 18:16
感想
4.2 基于Autoencoder的推荐系统
4.2.1 仅仅依赖于Autoencoder的推荐
AutoRec
2. 不同激励函数的结合会对结果影响很大。
3. 增加隐藏单元的大小会提升结果,因为拓展隐藏层的维度会给予AutoRec对输入特征(the characteristics of the input)更多的建模能力。
4. 增加更多的层来构造更深的网络会有效的提升性能。
Collaborative Filtering Neural network(CFN)
作者用了三种corruption的方法来corrupt输入:Gaussian noise,masking Noise和salt-and-pepper noise。为了处理丢失的元素(它们的值为0),我们强加了masking noise,作为在CFN中的强正则项。
Autoencoder-based Collaborative Filtering(ACF)
Collaborative Denoising Auto-Encoder(CDAE)
其中,损失函数可以是平方损失或者logistic损失,采用l2-norm来正则化权重项和偏置项,而没有采用Frobenius范数.
这里解释一下Frobenius norm:向量v的欧几里得范数或者说l2范数为,v有n个元素,
4.2.2 把传统的推荐系统和Autoencoder整合
紧耦合模型
协同深度学习(Collaborative Deep Learning, CDL)
在CDL之前,Wang等人提出了一个相似的模型用于标签推荐(tag recommendation),relational stacked denoising autoencoders(RSDAE)。RSDAE和CDL的区别为RSDAE用一个关系信息矩阵代替了PMF.CDL的另一个拓展是collaborative variational autoencoder(CVAE),它用variational autoencoder来替换CDL的深度神经组件。CVAE学习内容概率因子变量(probabilistic latent variables),用于表示内容信息(content information),这可以很容易的融合多媒体数据源。
Collaborative Deep Ranking(CDR)
上图的右边为CDR的结构,CDR的第一个和第二个生成步骤和CDL一样,第三步和第四步如下:
其中δ_uij=rui-ruj,代表用户对物品i和j的成对的关系,C_uij^(-1)是一个置信度的值,它表示用户u对物品i比对物品j的偏好程度,优化过程和CDL一样。
Deep Collaborative Filtering Framework
框架图如下:
松耦合模型
HRCD是一个基于autoencoder和timeSVD++的混合协同模型,这是一个时间感知模型,它使用SDAE学习从原始特征中学习物品表示,目的是解决冷启动问题。可是,基于相似度的冷物品的推荐就算代价很高。
4.3 基于卷积神经网络的推荐系统
4.3.1 仅依赖于CNN做推荐
Attention based CNN.
Personalized CNN Tag Recommendation
4.3.2 把CNN融入到传统的推荐系统中
和AE一样,CNN可以融入到传统模型中。可是,现有的集成类型没有像建立在AE上的类型那样丰富,前面基于AE的回顾应该向CNN拓展。紧耦合模型
Deep Cooperative Neural Network (DeepCoNN)
解机的输入。
ConvMF. ConvMF结合了CNN和PMF模型,结合的方式和CDL相似。CDL使用autoencoder学习物品特征表示,而ConvMF利用CNN学习高阶物品表示。ConvMF和CDL相比,其优点为CNN可以捕获更精确的物品上下文信息,这些是通过word embedding和卷积核实现的。
这里解释一下坐标下降法:(1)坐标下降法在每次迭代中在当前点处沿一个坐标方向进行一维搜索 ,固定其他的坐标方向,找到一个函数的局部极小值。(2)坐标下降优化方法是一种非梯度优化算法。在整个过程中依次循环使用不同的坐标方向进行迭代,一个周期的一维搜索迭代过程相当于一个梯度迭代。(3)gradient descent 方法是利用目标函数的导数(梯度)来确定搜索方向的,该梯度方向可能不与任何坐标轴平行。而coordinate descent方法是利用当前坐标方向进行搜索,不需要求目标函数的导数,只按照某一坐标方向进行搜索最小值。
详情请看我的参考文献。
松耦合模型
CNN for Image Feature Extraction
Wang等人调研了视觉特征对POI(Point-of-Interest)推荐的影响,提出了一个视觉内容增强的POI推荐系统(POI recommender system,VPOI)。VPOI采用了CNN去提取图片特征。推荐模型建立在PMF之上,利用(1)视觉内容和隐式用户因子的交互;(2)视觉内容和隐式位置因子的交互。Chu等人利用了餐厅推荐上的视觉信息(例如食物的图片和餐厅的陈设)的有效性,通过CNN提取视觉信息,加上文本表示,作为MF,BPRMF和FM的输入,用来测试他们的效果,结果表明视觉信息在一定程度上提升了性能,但是不明显。He等人设计了一个视觉贝叶斯个性化排序(visual Bayesian personalized ranking)算法,把视觉特征融入到矩阵分解中;He等人又对VBPR进行了拓展,探索用户的时尚感知,以及当用户考虑选择物品的时候,视觉因素的进化。
CNN for Audio Feature Extraction
CNN for Text Feature Extraction
- Deep Learning based Recommender System: A Survey and New Perspectives
- Deep Learning based Recommender System: A Survey and New Perspectives (2)
- Deep Learning based Recommender System: A Survey and New Perspectives (1)
- Deep Learning based Recommender System: A Survey and New Perspectives (3)
- 【论文阅读笔记】Deep Learning based Recommender System: A Survey and New Perspectives
- Deep learning---------Representation Learning: A Review and New Perspectives
- [论文学习]Deep Learning Based Recommendation: A Survey
- 《Wide and Deep Learning for Recommender Systems》学习笔记
- A Survey of Deep Learning Techniques Applied to Trading
- 基于内容的推荐系统(content-based recommender system)
- Machine learning: Trends,perspectives, and prospects读书笔记
- <<Machine learning: Trends, perspectives, and prospects>> 总结
- Deep Learning for Chatbots, Part 2 – Implementing a Retrieval-Based Model in Tensorflow
- Deep Learning for Chatbots, Part 2 – Implementing a Retrieval-Based Model in Tensorflow
- 《Wide & Deep Learning for Recommender Systems 》笔记
- Collaborative Deep Learning for Recommender Systems
- 《Wide & Deep Learning for Recommender Systems》
- A Survey on Transfer Learning
- android开发Enum (枚举)的更轻量级的替代方案 —— @IntDef的使用
- spring boot实战(第六篇)加载application资源文件源码分析
- VM 虚拟机屏幕大小的调整
- 两个onCreate()方法
- centos7搭建owncloud私有云
- Deep Learning based Recommender System: A Survey and New Perspectives (2)
- 当指针作为局部指针变量时的注意事项
- js做分页函数
- 大数据开发是先学习Hadoop还是spark,看10万程序猿所留下的结论
- Hadoop 环境设置
- 很赞的一款JS压缩/混淆器:Javascript Obfuscator v4.0
- Spring Boot对Spring MVC的配置
- 各大平台的推荐系统原来是靠他来完成的,太牛了
- 六款互联网人不容错过的软件神器