机器学习实战-使用Apriori算法进行关联分析

从大规模数据集中寻找物品间的隐含关系被称作关联分析或者关联学习。本章将主要介绍Apriori算法来解决问题。

Apriori算法
优点：易编码实现
缺点：在大数据集上可能较慢
适用数据类型：数值型或者标称型数据

关联分析是一种在大规模数据集中寻找有趣关系的任务。这些关系可以有两种形式：频繁项集或者关联规则。频繁项集（frequent item sets）是经常出现在一块的物品的集合，关联规则（association rules）暗示两种物品之间可能存在很强的关系。
一个项集的支持度(support)被定义为数据集中包含该数据集的记录所占的比例。
可信度和置信度（confidence）是针对一条诸如{尿布}→{葡萄酒}的关联规则来定义的。
支持度和可信度是用来量化关联分析是否成功的方法。下一节会详细分析这种情况并讨论Apriori原理，该原理会减少关联规则学习时所需的计算量。
Apriori原理是说如果某个项技术频繁的，那么他的所有子集也是频繁的。这个原理直观上并没有什么帮助，但是如果反过来看就有用了，也就是说一个项集非频繁集，那么他的所有超集也是非频繁的。
下面会创建一个用于创建初始集合的函数，也会创建一个通过数据集以寻找交易记录子集的函数，伪代码大致如下：

对数据集中的每条交易记录tran对每个候选项集can  检查一下can是否是tran的子集：  如果是，则增加can的计数值  对每个候选项集：  如果其支持度不低于最小值，则保留该项集，返回所有频繁项集列表

from numpy import *def loadDataSet():    return [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]]def createC1(dataSet):#构建集合C1，存放大小为1的所有候选键的集合    C1 = []#空列表    for transaction in dataSet:        for item in transaction:            if not [item] in C1:                C1.append([item])    C1.sort()    return map(frozenset, C1)#构建不变集合，能作为字典中的keydef scanD(D, Ck, minSupport):#数据集，候选项集Ck，最小支持度    ssCnt = {}#空字典    for tid in D:        for can in Ck:            if can.issubset(tid):#s.issubset(t) 如果s是t的子集,则返回True,否则返回False                 if not ssCnt.has_key(can): ssCnt[can]=1#has_key：如果键在字典里返回true，否则返回false。                else: ssCnt[can] += 1    numItems = float(len(D))    retList = []#满足最小支持度的集合    supportData = {}#最频繁项集的支持度    for key in ssCnt:        support = ssCnt[key]/numItems        if support >= minSupport:#不满足最小支持度要求的不会输出            retList.insert(0,key)        supportData[key] = support    return retList, supportData

下面看看实际运行效果：

In [20]: import apriori    ...: dataSet = apriori.loadDataSet()    ...: dataSet    ...: Out[20]: [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]]In [21]: C1 = apriori.createC1(dataSet)#构建第一个候选集    ...: C1    ...: Out[21]: [frozenset({1}), frozenset({2}), frozenset({3}), frozenset({4}), frozenset({5})]In [22]: D = map(set,dataSet)    ...: D    ...: Out[22]: [{1, 3, 4}, {2, 3, 5}, {1, 2, 3, 5}, {2, 5}]In [23]: L1,suppData0 = apriori.scanD(D,C1,0.5)    ...: L1    ...: Out[23]: [frozenset({1}), frozenset({3}), frozenset({2}), frozenset({5})]

上面4个项集构成了L1列表，该列表中的每个物品至少出现在50%以上的记录中。
下面开始组织完整的Apriori算法，伪代码如下：

当集合中项的个数大于0时  构建一个k个项组成的候选项集的列表  检查数据以确认每个项集都是频繁的  保留频繁项集并构建k+1项组成的候选项集的列表

既然可以过滤集合，那么就能构建完整的Apriori算法了。

def aprioriGen(Lk, k): #创建候选集Ck，Lk频繁项集列表Lk与项集元素个数k    retList = []    lenLk = len(Lk)    for i in range(lenLk):        for j in range(i+1, lenLk):             L1 = list(Lk[i])[:k-2]; L2 = list(Lk[j])[:k-2]            L1.sort(); L2.sort()            if L1==L2: #如果前k-2个元素相等                retList.append(Lk[i] | Lk[j])     return retListdef apriori(dataSet, minSupport = 0.5):    C1 = createC1(dataSet)    D = map(set, dataSet)    L1, supportData = scanD(D, C1, minSupport)    L = [L1]    k = 2    while (len(L[k-2]) > 0):        Ck = aprioriGen(L[k-2], k)        Lk, supK = scanD(D, Ck, minSupport)        supportData.update(supK)#更新字典        L.append(Lk)        k += 1    return L, supportData

下面来看看实际效果：In [27]: L,suppData = apriori.apriori(dataSet)    ...: L    ...: Out[27]: [[frozenset({1}), frozenset({3}), frozenset({2}), frozenset({5})], [frozenset({1, 3}), frozenset({2, 5}), frozenset({2, 3}), frozenset({3, 5})], [frozenset({2, 3, 5})], []]In [28]: L[0]Out[28]: [frozenset({1}), frozenset({3}), frozenset({2}), frozenset({5})]In [29]: L[1]Out[29]: [frozenset({1, 3}), frozenset({2, 5}), frozenset({2, 3}), frozenset({3, 5})]In [30]: L[2]Out[30]: [frozenset({2, 3, 5})]In [31]: L[3]Out[31]: []

每个项集都是在函数apriori()中调用函数aprioriGen()来生成的，下面看看aprioriGen()函数的工作流程：

apriori.aprioriGen(L[0],2)Out[32]: [frozenset({1, 3}), frozenset({1, 2}), frozenset({1, 5}), frozenset({2, 3}), frozenset({3, 5}), frozenset({2, 5})]

这里的6个集合是候选项集Ck中的元素。其中4个在L[1]中，剩下2个集合被函数scanD()过滤掉。
下面尝试70%的支持度：

In [33]: L,supportData = apriori.apriori(dataSet,minSupport=0.7)In [34]: LOut[34]: [[frozenset({3}), frozenset({2}), frozenset({5})], [frozenset({2, 5})], []]

可以利用关联规则来减少需要测试的规则数目。下面看看实际效果：

def generateRules(L, supportData, minConf=0.7):  #频繁项集列表，包含哪些频繁项集支持数据的字典，最小可信度阈值    bigRuleList = []    for i in range(1, len(L)):#遍历L中每一个频繁项集        for freqSet in L[i]:            H1 = [frozenset([item]) for item in freqSet]            if (i > 1):                rulesFromConseq(freqSet, H1, supportData, bigRuleList, minConf)            else:                calcConf(freqSet, H1, supportData, bigRuleList, minConf)    return bigRuleList   #包含可信度的规则列表      def calcConf(freqSet, H, supportData, brl, minConf=0.7):#对规则进行评估    prunedH = []     for conseq in H:#遍历，计算可信度        conf = supportData[freqSet]/supportData[freqSet-conseq]        if conf >= minConf:             print freqSet-conseq,'-->',conseq,'conf:',conf            brl.append((freqSet-conseq, conseq, conf))#填充bigRuleList            prunedH.append(conseq)    return prunedHdef rulesFromConseq(freqSet, H, supportData, brl, minConf=0.7):#从最初的项集生成候选规则    m = len(H[0])    if (len(freqSet) > (m + 1)): #是否够移除m大小的子集        Hmp1 = aprioriGen(H, m+1)        Hmp1 = calcConf(freqSet, Hmp1, supportData, brl, minConf)        if (len(Hmp1) > 1):               rulesFromConseq(freqSet, Hmp1, supportData, brl, minConf)

下面我们来尝试生成一个最小支持度为0.5的频繁项集：

In [38]: L,suppData = apriori.apriori(dataSet,minSupport = 0.5)    ...: rules = apriori.generateRules(L,suppData, minConf=0.7)    ...: rules    ...: frozenset([1]) --> frozenset([3]) conf: 1.0frozenset([5]) --> frozenset([2]) conf: 1.0frozenset([2]) --> frozenset([5]) conf: 1.0

给出了三条规则：{1}→{3}、{5}→{2}和{2}→{5}。可以看到，1和3的规则不行，下面降低可信度阈值之后看一下结果：

In [39]: rules = apriori.generateRules(L,suppData, minConf=0.5)    ...: rules    ...: frozenset([3]) --> frozenset([1]) conf: 0.666666666667frozenset([1]) --> frozenset([3]) conf: 1.0frozenset([5]) --> frozenset([2]) conf: 1.0frozenset([2]) --> frozenset([5]) conf: 1.0frozenset([3]) --> frozenset([2]) conf: 0.666666666667frozenset([2]) --> frozenset([3]) conf: 0.666666666667frozenset([5]) --> frozenset([3]) conf: 0.666666666667frozenset([3]) --> frozenset([5]) conf: 0.666666666667frozenset([5]) --> frozenset([2, 3]) conf: 0.666666666667frozenset([3]) --> frozenset([2, 5]) conf: 0.666666666667frozenset([2]) --> frozenset([3, 5]) conf: 0.666666666667

一旦降低可信度阈值，就可以获得更多的规则。

未完待续