矩阵分解方法

一、矩阵分解概述

　　我们都知道，现实生活中的User-Item矩阵极大(User数量极大、Item数量极大)，而用户的兴趣和消费能力有限，对单个用户来说消费的物品，产生评分记录的物品是极少的。这样造成了User-Item矩阵含有大量的空值，数据极为稀疏。矩阵分解的核心思想认为用户的兴趣只受少数几个因素的影响，因此将稀疏且高维的User-Item评分矩阵分解为两个低维矩阵，即通过User、Item评分信息来学习到的用户特征矩阵P和物品特征矩阵Q，通过重构的低维矩阵预测用户对产品的评分。由于用户和物品的特征向量维度比较低，因而可以通过梯度下降(Gradient Descend)的方法高效地求解，分解示意图如下所示。

二、基本矩阵分解

　　如上所述，User-Item评分矩阵维度较高且极为稀疏，传统的奇异值分解方法只能对稠密矩阵进行分解，即不允许所分解矩阵有空值。因而，若采用奇异值分解，需要首先填充User-Item评分矩阵，显然，这样造成了两个问题。

• 其一，填充大大增加了数据量，增加了算法复杂度。
• 其二，简单粗暴的数据填充很容易造成数据失真。

　　这些问题导致了传统的SVD矩阵分解表现并不理想。之后，Simon Funk在博客上公开发表了一个只考虑已有评分记录的矩阵分解方法，称为Funk-SVD，也就是被Yehuda Koren称为隐语义模型的矩阵分解方法。他简单地认为，既然我们的评价指标是均方根误差(Root Mean Squared Error, RMSE)，那么可以直接通过训练集中的观察值利用最小化RMSE学习用户特征矩阵P和物品特征Q，并用通过一个正则化项来避免过拟合。其需要优化的函数为

 

　　其中K为已有评分记录的(u,i)对集合，rui为用户u对物品i的真实评分，最后一项为防止过拟合的正则化项，λ为正则化系数。假设输入评分矩阵为R为M×N维矩阵，通过直接优化以上损失函数得到用户特征矩阵P(M×K)和物品特征矩阵Q(K×N)，其中K≪M,N。优化方法可以采用交叉最小二乘法或随机梯度下降方法。其评分预测方法为

 

　　其中pu和qi分别为用户u和物品i的特征向量，两者的内积即为所要预测的评分。

三.总结

　　R = PQ，PQ的内积来表示预测的评分，用RMSE作评价，不过不分先后顺序：在最小化RMSE约束下，来分解R矩阵，加入正则化项，防止过拟合。

更多相关文章

• 带偏置的矩阵分解

  一.基本概念 基本的矩阵分解方法通过学习用户和物品的特征向量进行预测,即用户和物品的交互信息.用户的特征向量代表了用户的兴趣,物品的特征向量代表了物品的特点,且每一个维度相互对应,两个向量的内积表示用户对该物品的喜好程度.但是我们观测到的评分数据大部分都是都是和用户或物品无关的因素产生的效果,即有很 ...
• 什么是特征向量，特征值，矩阵分解物理意义

  很不错的文章,下面的数学知识干嘛用看看就知道了.什么是特征向量,特征值,矩阵分解[1. 特征的数学意义]        我们先考察一种线性变化,例如x,y坐标系的椭圆方程可以写为x^2/a^2+y^2/b^2=1,那么坐标系关于原点做旋转以后,椭圆方程就要发生变换.我们可以把原坐标系的(x,y)乘以 ...
• 

  基于矩阵分解的推荐系统实例

  使用MATLAB尝试了随机梯度下降的矩阵分解方法,实现了一个比较简单的推荐系统的原理. 常用推荐系统的方法有协同过滤,    基于物品内容过滤等等.   这次是用的矩阵分解模型属于协同过滤的一种方法,大致原理是通过一定数量的因子来描述各个用户的喜好和各个物品的属性. 通过随机梯度下降法分解后得到两个 ...
• C#实现将一个矩阵分解为对称矩阵与反称矩阵之和的方法

  这篇文章主要介绍了C#实现将一个矩阵分解为对称矩阵与反称矩阵之和的方法,较为详细的分析了矩阵分解运算的原理与C#实现技巧,需要的朋友可以参考下本文实例讲述了C#实现将一个矩阵分解为对称矩阵与反称矩阵之和的方法.分享给大家供大家参考.具体如下:1.理论依据对任意n阶方阵A,有 A=(A+T(A))/2 ...
• 

  基于矩阵分解的隐因子模型

  推荐系统是现今广泛运用的一种数据分析方法.常见的如,“你关注的人也关注他”,“喜欢这个物品的用户还喜欢..”“你也许会喜欢”等等.   常见的推荐系统分为基于内容的推荐与基于历史记录的推荐. 基于内容的推荐,关键在于提取到有用的用户,物品信息,以此为特征向量来进行分类,回归. 基于历史记录的推荐,记 ...
• 

  矩阵分解之奇异值分解

  矩阵分解之奇异值分解 引言 首先说矩阵,矩阵是一个难理解的数学描述,不管是在本科阶段的线性代数课上还是在研究生阶段的矩阵分析课上,都没有使我对矩阵产生什么好感,虽然考试也能过关,基本知识也能理解,但就是不知道有卵用.直到接触了机器学习相关算法论述时,发现好多的机器学习算法最终的描述都是通过矩阵分析相 ...
• 

  矩阵分解开源库libMF源码分析

  libMF介绍libMF是由台湾大学林智仁老师实验室开发的,一个用于推荐系统领域的矩阵分解开源库.矩阵分解通常用于协同过滤方法.libMF的主要特点:用了user和item的隐含特征,user和item的评分偏差bias及所有评分的评分值.libMF可以用于多核CPU的并行化计算,并且还可以有效利用 ...
• 31 天重构学习笔记22. 分解方法

  摘要:由于最近在做重构的项目,所以对重构又重新进行了一遍学习和整理,对31天重构最早接触是在2009年10月份,由于当时没有 订阅Sean Chambers的blog,所以是在国外的社区上闲逛的时候链接过去的.记得当时一口气看完了整个系列并没有多少感觉,因为这些基本上项目都 在使用,只是我们没有专门 ...