推荐系统起步---0319

第一次使用博客，本博客只限于自己学习和查看自己的历史学习

看着自己每天的进步也是非常好的一件事情

现在在推荐系统领域还是属于小白阶段

为了学习推荐系统已经买了书籍 《推荐系统实战》《统计学习方法》《机器学习》

原来想要学习的方向其实是数据挖掘，但是现在看来其实数据挖掘是一个拼凑的学科，并没有自己本身的系统性理论

数据挖掘理论和算法部分大部分是借鉴的机器学习，应用部分又是数据库的原理

今天的学习任务主要是在于矩阵分解

主要看的几篇文章：

基于矩阵分解的推荐算法，简单入门 - kobeshow

 矩阵分解（MATRIX FACTORIZATION）在推荐系统中的应用

 浅谈矩阵分解在推荐系统中的应用

主要还是在于学习一些基础性只是，大概明白了推荐系统中矩阵的使用以及运行原理，明白了梯度下降法、ktt 和 拉格朗日乘子的使用其实是实用的，可以从下文了解

深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

打算开始学习一下推荐系统的知识，当然也是简单了解

探索推荐引擎内部的秘密，第 1 部分: 推荐引擎初探

• 显式的用户反馈：这类是用户在网站上自然浏览或者使用网站以外，显式的提供反馈信息，例如用户对物品的评分，或者对物品的评论。
• 隐式的用户反馈：这类是用户在使用网站是产生的数据，隐式的反应了用户对物品的喜好，例如用户购买了某物品，用户查看了某物品的信息等等。
• • 基于物品和用户本身的，这种推荐引擎将每个用户和每个物品都当作独立的实体，预测每个用户对于每个物品的喜好程度，这些信息往往是用一个二维矩阵描述的。由于用户感兴趣的物品远远小于总物品的数目，这样的模型导致大量的数据空置，即我们得到的二维矩阵往往是一个很大的稀疏矩阵。同时为了减小计算量，我们可以对物品和用户进行聚类， 然后记录和计算一类用户对一类物品的喜好程度，但这样的模型又会在推荐的准确性上有损失。
  • 基于关联规则的推荐（Rule-based Recommendation）：关联规则的挖掘已经是数据挖掘中的一个经典的问题，主要是挖掘一些数据的依赖关系，典型的场景就是“购物篮问题”，通过关联规则的挖掘，我们可以找到哪些物品经常被同时购买，或者用户购买了一些物品后通常会购买哪些其他的物品，当我们挖掘出这些关联规则之后，我们可以基于这些规则给用户进行推荐。
  • 基于模型的推荐（Model-based Recommendation）：这是一个典型的机器学习的问题，可以将已有的用户喜好信息作为训练样本，训练出一个预测用户喜好的模型，这样以后用户在进入系统，可以基于此模型计算推荐。这种方法的问题在于如何将用户实时或者近期的喜好信息反馈给训练好的模型，从而提高推荐的准确度。
    注： 我想要学习的更多是的基于时空变化的客户兴趣偏离推荐系统，基于协同过滤的会比较好
  
  

• 
  

  
  

    推荐引擎算法学习导论

这个里面讲的挺浅的，是机器学习和数据挖掘里面很大众的算法，没有什么新意，唯一一个自己以前没有接触过的就是模糊 k-means 算法，在另一篇文章中找到了详细的讲解

http://blog.pureisle.net/archives/2045.html  主要是这篇中 Canopy 聚类算法算法讲述的比较全面，使得模糊k-means算法也相对好理解了

但是还是有一个问题不明白

为什么当M近似2时候相关性为1，m近似1，相关性为到簇的距离，不管M取什么数，分母恒大于1，以至于U1小于1，怎么就说明到簇的距离了呢？

探索推荐引擎内部的秘密，第 2 部分: 深入推荐引擎相关算法 - 协同过滤

这篇文字真的不错，回顾的时候可以试着浏览一下，这篇的实现代码部分没有看

收集用户偏好

要从用户的行为和偏好中发现规律，并基于此给予推荐，如何收集用户的偏好信息成为系统推荐效果最基础的决定因素。用户有很多方式向系统提供自己的偏好信息，而且不同的应用也可能大不相同，下面举例进行介绍：

表 1 用户行为和用户偏好

用户行为类型特征作用评分显式整数量化的偏好，可能的取值是 [0, n]；n 一般取值为 5 或者是 10通过用户对物品的评分，可以精确的得到用户的偏好投票显式布尔量化的偏好，取值是 0 或 1通过用户对物品的投票，可以较精确的得到用户的偏好转发显式布尔量化的偏好，取值是 0 或 1通过用户对物品的投票，可以精确的得到用户的偏好。
如果是站内，同时可以推理得到被转发人的偏好（不精确）保存书签显示布尔量化的偏好，取值是 0 或 1通过用户对物品的投票，可以精确的得到用户的偏好。标记标签 
(Tag)显示一些单词，需要对单词进行分析，得到偏好通过分析用户的标签，可以得到用户对项目的理解，同时可以分析出用户的情感：喜欢还是讨厌评论显示一段文字，需要进行文本分析，得到偏好通过分析用户的评论，可以得到用户的情感：喜欢还是讨厌点击流 
( 查看 )隐式一组用户的点击，用户对物品感兴趣，需要进行分析，得到偏好用户的点击一定程度上反映了用户的注意力，所以它也可以从一定程度上反映用户的喜好。页面停留时间隐式一组时间信息，噪音大，需要进行去噪，分析，得到偏好用户的页面停留时间一定程度上反映了用户的注意力和喜好，但噪音偏大，不好利用。购买隐式布尔量化的偏好，取值是 0 或 1用户的购买是很明确的说明这个项目它感兴趣。

这个表对我的启发很大，主要是汇总了一些用户行为和偏好的特征，可以进行加权进行评价

关于皮尔逊相关系数，找个2个网址，但是还是没有弄得太明白，http://blog.csdn.net/zimohuakai/article/details/6578791

http://blog.csdn.net/zimohuakai/article/details/6578791

回去找找书，如果补充的话会在明天的博客中

• 计算复杂度

Item CF 和 User CF 是基于协同过滤推荐的两个最基本的算法，User CF 是很早以前就提出来了，Item CF 是从 Amazon 的论文和专利发表之后（2001 年左右）开始流行，大家都觉得 Item CF 从性能和复杂度上比 User CF 更优，其中的一个主要原因就是对于一个在线网站，用户的数量往往大大超过物品的数量，同时物品的数据相对稳定，因此计算物品的相似度不但计算量较小，同时也不必频繁更新。但我们往往忽略了这种情况只适应于提供商品的电子商务网站，对于新闻，博客或者微内容的推荐系统，情况往往是相反的，物品的数量是海量的，同时也是更新频繁的，所以单从复杂度的角度，这两个算法在不同的系统中各有优势，推荐引擎的设计者需要根据自己应用的特点选择更加合适的算法。

推荐多样性和精度

研究推荐引擎的学者们在相同的数据集合上分别用 User CF 和 Item CF 计算推荐结果，发现推荐列表中，只有 50% 是一样的，还有 50% 完全不同。但是这两个算法确有相似的精度，所以可以说，这两个算法是很互补的。

关于推荐的多样性，有两种度量方法：

第一种度量方法是从单个用户的角度度量，就是说给定一个用户，查看系统给出的推荐列表是否多样，也就是要比较推荐列表中的物品之间两两的相似度，不难想到，对这种度量方法，Item CF 的多样性显然不如 User CF 的好，因为 Item CF 的推荐就是和以前看的东西最相似的。

第二种度量方法是考虑系统的多样性，也被称为覆盖率 (Coverage)，它是指一个推荐系统是否能够提供给所有用户丰富的选择。在这种指标下，Item CF 的多样性要远远好于 User CF, 因为 User CF 总是倾向于推荐热门的，从另一个侧面看，也就是说，Item CF 的推荐有很好的新颖性，很擅长推荐长尾里的物品。所以，尽管大多数情况，Item CF 的精度略小于 User CF， 但如果考虑多样性，Item CF 却比 User CF 好很多。

如果你对推荐的多样性还心存疑惑，那么下面我们再举个实例看看 User CF 和 Item CF 的多样性到底有什么差别。首先，假设每个用户兴趣爱好都是广泛的，喜欢好几个领域的东西，不过每个用户肯定也有一个主要的领域，对这个领域会比其他领域更加关心。给定一个用户，假设他喜欢 3 个领域 A,B,C，A 是他喜欢的主要领域，这个时候我们来看 User CF 和 Item CF 倾向于做出什么推荐：如果用 User CF, 它会将 A,B,C 三个领域中比较热门的东西推荐给用户；而如果用 ItemCF，它会基本上只推荐 A 领域的东西给用户。所以我们看到因为 User CF 只推荐热门的，所以它在推荐长尾里项目方面的能力不足；而 Item CF 只推荐 A 领域给用户，这样他有限的推荐列表中就可能包含了一定数量的不热门的长尾物品，同时 Item CF 的推荐对这个用户而言，显然多样性不足。但是对整个系统而言，因为不同的用户的主要兴趣点不同，所以系统的覆盖率会比较好。

从上面的分析，可以很清晰的看到，这两种推荐都有其合理性，但都不是最好的选择，因此他们的精度也会有损失。其实对这类系统的最好选择是，如果系统给这个用户推荐 30 个物品，既不是每个领域挑选 10 个最热门的给他，也不是推荐 30 个 A 领域的给他，而是比如推荐 15 个 A 领域的给他，剩下的 15 个从 B,C 中选择。所以结合 User CF 和 Item CF 是最优的选择，结合的基本原则就是当采用 Item CF 导致系统对个人推荐的多样性不足时，我们通过加入 User CF 增加个人推荐的多样性，从而提高精度，而当因为采用 User CF 而使系统的整体多样性不足时，我们可以通过加入 Item CF 增加整体的多样性，同样同样可以提高推荐的精度。

• 用户对推荐算法的适应度

前面我们大部分都是从推荐引擎的角度考虑哪个算法更优，但其实我们更多的应该考虑作为推荐引擎的最终使用者 -- 应用用户对推荐算法的适应度。

对于 User CF，推荐的原则是假设用户会喜欢那些和他有相同喜好的用户喜欢的东西，但如果一个用户没有相同喜好的朋友，那 User CF 的算法的效果就会很差，所以一个用户对的 CF 算法的适应度是和他有多少共同喜好用户成正比的。

Item CF 算法也有一个基本假设，就是用户会喜欢和他以前喜欢的东西相似的东西，那么我们可以计算一个用户喜欢的物品的自相似度。一个用户喜欢物品的自相似度大，就说明他喜欢的东西都是比较相似的，也就是说他比较符合 Item CF 方法的基本假设，那么他对 Item CF 的适应度自然比较好；反之，如果自相似度小，就说明这个用户的喜好习惯并不满足 Item CF 方法的基本假设，那么对于这种用户，用 Item CF 方法做出好的推荐的可能性非常低。

这里讲到的是基于用户和基物品的协同过滤各自缺点

明天的规划：

将这个的下一篇继续看完，然后开始看自己收集的其他书签，如果将书签看完，阅读k博士的那篇论文Collaborative Filtering with Temporal Dynamics  基本就是这个样子，明天可能会整篇翻译这个文章写在博客中