推荐算法

# coding: utf-8# In[33]:#!/usr/bin/env python2"""Created on Mon May 22 18:27:58 2017@author: yingzhang推荐协作型过滤算法: 先对一大群人进行搜索，并从中找出与我们品味相近的一小群人。htaifc会地这些人所偏爱的其他内容进行考查，并将它们组合起来构造出一个经过排名的推荐算法。提出人:   David Goldberg论文: Using collaborative filtering to weave an information tapestry"""#创建一个涉及影评者及其对几部影片评分情况的字典critics={'Lisa Rose': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.5, 'Just My Luck': 3.0, 'Superman Returns': 3.5, 'You, Me and Dupree': 2.5,  'The Night Listener': 3.0},'Gene Seymour': {'Lady in the Water': 3.0, 'Snakes on a Plane': 3.5,  'Just My Luck': 1.5, 'Superman Returns': 5.0, 'The Night Listener': 3.0,  'You, Me and Dupree': 3.5}, 'Michael Phillips': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.0, 'Superman Returns': 3.5, 'The Night Listener': 4.0},'Claudia Puig': {'Snakes on a Plane': 3.5, 'Just My Luck': 3.0, 'The Night Listener': 4.5, 'Superman Returns': 4.0,  'You, Me and Dupree': 2.5},'Mick LaSalle': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0,  'Just My Luck': 2.0, 'Superman Returns': 3.0, 'The Night Listener': 3.0, 'You, Me and Dupree': 2.0}, 'Jack Matthews': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0, 'The Night Listener': 3.0, 'Superman Returns': 5.0, 'You, Me and Dupree': 3.5},'Toby': {'Snakes on a Plane':4.5,'You, Me and Dupree':1.0,'Superman Returns':4.0}}# In[34]:#输出 数据字典中的值critics['Lisa Rose']['Lady in the Water']# In[35]:#相似度评价. :欧几里德距离及皮尔逊相关度#欧几里德距离: 以经过人们一致评价的物品作为坐标轴，然后将参与评价的人绘制到图上，并考查他们彼此间的距离。 #算法： 将每部电影的评分当成是平面坐标系中的一个轴上的值，计算出每一个轴向上两个人评分的差值，求平方后再相加，最后对总和取平方根。 #例如: Toby和LaSalle之间对 Snakes on a Plane,及 You,Me and Dupree电影之间的相似度运算如下:from math import sqrtsqrt(pow(4.5-4.0, 2)+pow(1.0-2.0,2))# In[7]:# 将以上算法转换一下，取倒数，这样算出来的值在0-1之间，1表示一样，0表示完全不一样. 另外为了防止  除数为0,将平方根的结果加1. 1/(1+sqrt(pow(4.5-4.0, 2)+pow(1.0-2.0,2)))# In[36]:#将上面的算法封装一下,用于返回用户person1,与person2的相似度评价值,  prefs就是  评分列表critics#欧几里德距离实现def sim_distance(prefs, person1,person2):    #首先得到共同的评分项列表    shared_items={}    #从prefs中根据人名(键)取出所有的值，查看person2是否对这个值(电影)评分，如果两个人对同一部电影都评过分，则保存到  shared_items中     for item in prefs[person1]:           if item in prefs[person2]:            shared_items[item]=1    #shared_items['电影名']=1    #如果两个人没有共同处，则返回0,表示完全不同    if( len(shared_items) ==0 ):        return 0    #有相同点，则计算所有差值的平方和    sum_of_squares=sum([pow(prefs[person1][item]-prefs[person2][item],2)    for item in prefs[person1] if item in prefs[person2]])    #将相似度归一    return 1/(1+sqrt(sum_of_squares))  # In[37]:#调用函数，计算'Lisa Rose','Gene Seymour'两人的相似度sim_distance(  critics, 'Lisa Rose','Gene Seymour')# In[38]:#皮尔逊相关度:判断两组数据与某一直线拟合程度的一种度量.在数据不是很规范的时候效果比较好。#原理: 绘制一条最佳拟合线，如果两位评分者对所有电影评分情况相同，则此直线为对角线，从而得到一个为1的理想度评价值.#皮尔逊相关度可以修正夸大分值的情况。 如果某人总倾向于给出比另一人更高的分值，最终的直线仍会是拟合的，因为他们有着相对近似的偏好。如果某人总是#倾向于给出比另一人更高的分值，而二者的分值之差又始终保持一致，则他们依然可能会存在好的相关性。而欧几里德距离则会得到不相近的结论。#算法实现: 1. 先找出两人都评价过的物品. #         2. 计算两者的评分总和与平方和,求得评分的乘积之和#         3. 计算皮尔逊相关度#本函数返回一个 -1到1的值, 1表示完全相关, -1表示负相关, 0表示不相关def sim_pearson(prefs,person1,person2):    #首先得到共同的评分项列表    shared_items={}    #从prefs中根据人名(键)取出所有的值，查看person2是否对这个值(电影)评分，如果两个人对同一部电影都评过分，则保存到  shared_items中     for item in prefs[person1]:           if item in prefs[person2]:            shared_items[item]=1    #shared_items['电影名']=1    #如果两个人没有共同处，则返回0,表示完全不同    if( len(shared_items) ==0 ):        return 0             n=len(shared_items)        #对所有偏好求和    sum1=  sum(  [prefs[person1][item]  for item in shared_items])    sum2=  sum(  [prefs[person2][item]  for item in shared_items])        #求平方和    sum1Sqrt= sum(  [pow(prefs[person1][item],2) for item in shared_items]   )    sum2Sqrt= sum(  [pow(prefs[person2][item],2) for item in shared_items] )        #求评分的乘积之和    pSum=sum(    [prefs[person1][item]*prefs[person2][item] for item in shared_items]  )        #计算皮尔逊相关度    num=pSum-(sum1*sum2/n)    den=sqrt((sum1Sqrt-pow(sum1,2)/n)*(sum2Sqrt-pow(sum2,2)/n))    if(den==0):        return 0        r=num/den    return r    # In[39]:sim_pearson( critics, 'Lisa Rose','Gene Seymour')# In[40]:#相似度度量方法小结#相似度函数：应该拥有同样的函数签名，以一个浮点数作为返回值，其数值越大表示相似度越大#其它的函数还有:  Jaccard系数，曼哈顿距离等。 #参考文献:  http://en.wikipedia.org/wiki/Metric_%28mathematics%29#Examples# In[41]:#下面编写一个函数找出与自己有相似品味的影评者#返回结果的个数和相似度函数均为可选参数，有默认值def topMatches(prefs, person, n=5,similarity=sim_pearson):    #利用python的列表推导式。    scores=[(similarity(prefs,person,other),other)  #值格式  [(相似度,人名)]        for other in prefs if other!=person    ]    #对列表值进行排序    scores.sort()    scores.reverse()    return scores[0:n]# In[42]:#测试topMatches( critics,'Toby',n=3)# In[43]:#现在我们已经找到了趣味相投的影评者，但我们需要的是一份影片推荐. #我们也可以查找与自己品味最为相近的人，并从他所喜欢的影片中找出一部自己还没看过的影片。#但这样太随意了，比如: 评论者还没对影片做过评论，而这些影片也许就是我们所喜欢的。还有一种可能，我们会找到一个热衷某部影片的评论者，但其他的评论者都不喜欢#解决方案:  使用一个经过加权的评价值为为影片打分，评论者的评分结果因此而形成了先后的排名。我们取得所有其他评论者的评价结果，借此得到相似度后，再乘以他们为每部影片所给的评价值。#与toby的推荐#评论者     相似度     电影The Night Listener评分  加权后的评分    电影Lady in the Water评分  加权后的评分#Rose       0.99          3.0                      2.97            2.5                   2.48#Lasalle    0.92        3.0                        2.77            3.0                 2.77#总计                                              5.74                                   5.25#评价过这部影片所有人的相似度之和                       1.91                                   1.91#总计/评价过这部影片所有人的相似度之和                    3.0                                  2.74#实现: 利用所有他人评价值的加权平均，为某人提供建议def getRecommendations( prefs, person, similarity=sim_pearson):    totals={}  #相似度*评价值    simSums={}  #相似度之和    for other in prefs:        #不要和自己比较        if other==person:continue        sim=similarity(prefs,person,other)        #忽略评价值为0或小于0的情况,   pearson系数会有负数        if sim<=0:continue        for item in prefs[other]:            #只对自己还没看过的电影进行评价            if item not in prefs[person] or prefs[person][item]==0:                #相似度*评价值                totals.setdefault(item,0)                totals[item]+=prefs[other][item]*sim                #相似度之和                simSums.setdefault(item,0)                simSums[item]+=sim                    #建立一个归一化的列表    rankings=[   (total/simSums[item],item) for item,total in totals.items()]        #返回经过排序的列表    rankings.sort()    rankings.reverse()    return rankings# In[44]:#测试给Toby推荐电影getRecommendations( critics, 'Toby')# In[45]:#寻找相近的商品#与上面的做法一样，只需要将数据改变一下{'Lady in the Water':{'Lisa Rose':2.5,'Gene Seymour':3.0}}#定义一个函数，转换上面的criticsdef transformPrefs(prefs):    result={}    for person in prefs:        for item in prefs[person]:            result.setdefault(item,{})            #将物品和人对调            result[item][person]=prefs[person][item];    return result# In[46]:#求一组与 "superman return "最为相近的影片movies=transformPrefs(critics)topMatches(  movies,'Superman Returns'  )# In[47]:#注意以上结果有负值，表示那些喜欢影片 superman returns的人，存在不喜欢  just myluck的趋势# In[50]:#需求二:  还可以为影片推荐评论者getRecommendations( movies, 'Just My Luck')# In[51]:#将人与物品对调的商业价值:  为了向不同的个体推荐商品，在线零售商可能会收集人们的购买历史。将商品与人对调，可以令零售商找到购买某些商品的潜在客户. #另外，在专门推荐链接的网站上，这样做可以确保新出现的链接能够被那些最有可能对它产生兴趣的网站用户找到. # In[58]:#TODO   基于用户的推荐# In[59]:#另一种可供选择的方法称为基于物品的协作型过滤 ( item-based collaborative filtering )#在有大量数据集下，基于物品的协作型过滤能得出更好的结论，而且它允许将大量计算任务先执行，从而使需要给予推荐的用户能更快地得到结果.#思路: 为每件物吕预先计算好最为相近的其他物品，然后，当想为某位用户提供推荐时，可以查看他曾经评过分的物品，并从中选出排位靠前者，再构造出一个加#权列表，其中包含了与这些选中物品最为相近的其他物品。#注意: 虽然这里要检查这里所有的数据，但物品间的比较不会像用户间的比较那么频繁变化。这样可以将计算任务安排在网络流量不大的时候进行. #构造物品比较数据集: 构造一个包含相近物品的完整数据集。  这个工作是一次性的. def calculateSimilarItems( prefs, n=10):    #建立字典，给出与这些物品最相近的所有其他物品    result={}    #以物品为中心对偏好矩阵实施倒置处理,得到有关物品及其用户评价情况的列表    itemPrefs=transformPrefs( prefs )    c=0    #循环遍历每项物品，将转换了的字典传入topMatches函数中. 求最相近的物品及相似度评分.    for item in itemPrefs:        #针对大数据集更新状态变量        c+=1        if c%100: print "%d / %d" % (c,len(itemPrefs))        #寻找最相近的物品        scores=topMatches(itemPrefs,item,n=n,similarity=sim_distance)        result[item]=scores    return result  # In[62]:#创建物品的相似度数据集. itemsim=calculateSimilarItems(critics)itemsim#在用户基数和评分数量还不是很大的时候执行这一函数，但随着用户数量的不断增大，物品间的相似度会越来越稳定.# In[63]:#获得推荐#原理: 取到用户评价过的所有物品，找出其相近物品，并根据相似度对其进行加权. #算法描述:  以  为Toby提供基于物品的推荐为例  , 先准备好Toby已经评过分的物品数值#己评过分的影片名   评分    (后面接没有评过分的影片及与前面影片的相似度 )    与Night相似度     加权后的评分   与Lady相似度   加权评分    #snakes            4.5                                                  0.32           1.44        0.34           1.53#superman          4.0                                                  0.25            1          0.24           0.96#总计                                                                    0.57          2.44         0.58          2.49  #归一结果                                                                               4.28                      4.29                                     #总计行给出每部影片相似度评价值的总计值及 加权评分列总计值#为了预测我们将对每部电影的评分，将   Ｒ.x列除以相似度一列的总和即可. def getRecommendedItems( prefs, itemMatch, user):    userRatings=prefs[user]  #取出用户评分    scores={}    totalSim={}    #循环遍历由当前用户评分的物品    for(item, rating) in userRatings.items():   #           #循环与当前物品item相近的物品        for ( similarity,item2 ) in itemMatch[item]:  # (0.3483314773547883, 'Lady in the Water')            #如果该用户已经对当前物品做过评价，则将其忽略            if item2 in userRatings:continue            #评价值与相似度的加权和计算            scores.setdefault(item2,0)            scores[item2]+=similarity*rating            #全部相似度之和            totalSim.setdefault(item2,0)            totalSim[item2]+=similarity    #将每个合计值除以加权和，求出平均值    rankings=[  (score/totalSim[item],item) for item,score in scores.items() ]    #按降序排序，返回    rankings.sort()    rankings.reverse()    return rankings    # In[64]:#测试给Toby推荐getRecommendedItems( critics, itemsim,'Toby')# In[66]:#以MovieLens数据集做测试#地址: https://grouplens.org/datasets/movielens/#推荐下载  10W数据集的#只用读取 u.item(影片id,片名)   u.data(评分)# u.data格式#  用户id   影片id, 评分  时间#定义一个函数读取数据def loadMovieLens(path='/users/yingzhang'):    #获取影片标题    movies={}    for line in open(path+'/u.item'):        (id,title)=line.split('|')[0:2]        movies[id]=title    #加载数据    prefs={}    for line in open(path+'/u.data'):        (user,movieid,rating,ts)=line.split('\t')        prefs.setdefault(user,{})        prefs[user][movies[movieid]]=float(rating)    return prefs# In[69]:prefs=loadMovieLens()prefs['87']getRecommendations( prefs, '87')[0:30]#以上基于用户的推荐, 如果用户越多，速度越慢. # In[70]:#换成基于物品的推荐#先计算物品相似度itemsim=calculateSimilarItems( prefs, n=50)#计算物品相似度字典要花费比较长的时间,# In[ ]:#但获取推荐信息却是瞬间完成的. getRecommendedItems( prefs, itemsim,'87')[0:30]# In[72]:#grouplens网站还有一些数据集可以使用，有图书，笑话，影片等. # In[ ]:#   选择基于用户过滤还是基于物品过滤    分析:# 1. 在大数据集时，用物品过滤比基于用户要快很多，但要维护物品相似度表的开销。# 2. 根据数据集"稀疏"程度上的不同也存在精准度上的差异.   在电影案例中，由于每个评论者几乎都对每部影片都做过评价，所以数据集是密集的。但如果数据集是稀疏的，基于物品的过滤方法要优于基于用户的过滤方法. #     而对于密集数据集而言，两者的效果几乎一样. #关于算法的执行效率的差异，请查看   http://citeseer.ist.psu.edu/sarwar01itembased.html  下载   "item-based collaborative filtering recommendation algorithms  论文#应用:  在链接共享类或音乐类推荐类网站，可以利用基于用户推荐 来查看还有哪些用户与自己有相同的爱好，以实现社交.#   在购物类网站中，利用基于物品的推荐，推荐商品.