数据挖掘：Apriori算法

来源：互联网发布：乌克兰航空怎么样知乎编辑：程序博客网时间：2024/05/01 21:40

转自： http://blog.csdn.net/zjd950131/article/details/8071414

1 Apriori介绍

Apriori算法使用频繁项集的先验知识，使用一种称作逐层搜索的迭代方法，k项集用于探索(k+1)项集。首先，通过扫描事务（交易）记录，找出所有的频繁1项集，该集合记做L₁，然后利用L₁找频繁2项集的集合L₂，L₂找L₃，如此下去，直到不能再找到任何频繁k项集。最后再在所有的频繁集中找出强规则，即产生用户感兴趣的关联规则。

其中，Apriori算法具有这样一条性质：任一频繁项集的所有非空子集也必须是频繁的。因为假如P(I)< 最小支持度阈值，当有元素A添加到I中时，结果项集（A∩I）不可能比I出现次数更多。因此A∩I也不是频繁的。

2 连接步和剪枝步

在上述的关联规则挖掘过程的两个步骤中，第一步往往是总体性能的瓶颈。Apriori算法采用连接步和剪枝步两种方式来找出所有的频繁项集。

1）连接步

为找出L_k（所有的频繁k项集的集合），通过将L_k-1（所有的频繁k-1项集的集合）与自身连接产生候选k项集的集合。候选集合记作C_k。设l₁和l₂是L_k-1中的成员。记l_i[j]表示l_i中的第j项。假设Apriori算法对事务或项集中的项按字典次序排序，即对于（k-1）项集l_i，l_i[1]<l_i[2]<……….<l_i[k-1]。将L_k-1与自身连接，如果(l₁[1]=l₂[1])&&( l₁[2]=l₂[2])&&……..&& (l₁[k-2]=l₂[k-2])&&(l₁[k-1]<l₂[k-1])，那认为l₁和l₂是可连接。连接l₁和l₂ 产生的结果是{l₁[1],l₁[2],……,l₁[k-1],l₂[k-1]}。

2）剪枝步

C_K是L_K的超集，也就是说，C_K的成员可能是也可能不是频繁的。通过扫描所有的事务（交易），确定C_K中每个候选的计数，判断是否小于最小支持度计数，如果不是，则认为该候选是频繁的。为了压缩C_k,可以利用Apriori性质：任一频繁项集的所有非空子集也必须是频繁的，反之，如果某个候选的非空子集不是频繁的，那么该候选肯定不是频繁的，从而可以将其从C_K中删除。

（Tip：为什么要压缩C_K呢？因为实际情况下事务记录往往是保存在外存储上，比如数据库或者其他格式的文件上，在每次计算候选计数时都需要将候选与所有事务进行比对，众所周知，访问外存的效率往往都比较低，因此Apriori加入了所谓的剪枝步，事先对候选集进行过滤，以减少访问外存的次数。）

3 Apriori算法实例

交易ID

商品ID列表

T100

I1，I2，I5

T200

I2，I4

T300

I2，I3

T400

I1，I2，I4

T500

I1，I3

T600

I2，I3

T700

I1，I3

T800

I1，I2，I3，I5

T900

I1，I2，I3

上图为某商场的交易记录，共有9个事务，利用Apriori算法寻找所有的频繁项集的过程如下:

详细介绍下候选3项集的集合C3的产生过程：从连接步，首先C3={{I1,I2,I3}，{I1,I2,I5}，{I1,I3,I5}，{I2,I3,I4}，{I2,I3,I5}，{I2,I4,I5}}（C3是由L2与自身连接产生）。根据Apriori性质，频繁项集的所有子集也必须频繁的，可以确定有4个候选集{I1,I3,I5}，{I2,I3,I4}，{I2,I3,I5}，{I2,I4,I5}}不可能时频繁的，因为它们存在子集不属于频繁集，因此将它们从C3中删除。注意，由于Apriori算法使用逐层搜索技术，给定候选k项集后，只需检查它们的（k-1）个子集是否频繁。

3． Apriori伪代码

算法：Apriori

输入：D - 事务数据库；min_sup - 最小支持度计数阈值

输出：L - D中的频繁项集

方法：

L₁=find_frequent_1-itemsets(D); // 找出所有频繁1项集

For(k=2;L_k-1!=null;k++){

C_k=apriori_gen(L_k-1); // 产生候选，并剪枝

For each 事务t in D{ // 扫描D进行候选计数

C_t =subset(C_k,t); // 得到t的子集

For each 候选c 属于 C_t

c.count++;

}

L_k={c属于C_k | c.count>=min_sup}

}

Return L=所有的频繁集；

Procedure apriori_gen(L_k-1:frequent(k-1)-itemsets)

For each项集l₁属于L_k-1

For each项集 l₂属于L_k-1

If((l₁[1]=l₂[1])&&( l₁[2]=l₂[2])&&……..

&& (l₁[k-2]=l₂[k-2])&&(l₁[k-1]<l₂[k-1])) then{

c=l₁连接l₂ //连接步：产生候选

if has_infrequent_subset(c,L_k-1) then

delete c; //剪枝步：删除非频繁候选

else add c to C_k;

}

Return C_k;

Procedure has_infrequent_sub(c:candidate k-itemset; L_k-1:frequent(k-1)-itemsets)

For each(k-1)-subset s of c

If s不属于L_k-1 then

Return true;

Return false;

4．由频繁项集产生关联规则

Confidence(A->B)=P(B|A)=support_count(AB)/support_count(A)

关联规则产生步骤如下：

1）对于每个频繁项集l，产生其所有非空真子集；

2）对于每个非空真子集s,如果support_count(l)/support_count(s)>=min_conf，则输出 s->(l-s)，其中，min_conf是最小置信度阈值。

例如，在上述例子中，针对频繁集{I1，I2，I5}。可以产生哪些关联规则？该频繁集的非空真子集有{I1，I2}，{I1，I5}，{I2，I5}，{I1 }，{I2}和{I5}，对应置信度如下：

I1&&I2->I5 confidence=2/4=50%

I1&&I5->I2 confidence=2/2=100%

I2&&I5->I1 confidence=2/2=100%

I1 ->I2&&I5 confidence=2/6=33%

I2 ->I1&&I5 confidence=2/7=29%

I5 ->I1&&I2 confidence=2/2=100%

如果min_conf=70%,则强规则有I1&&I5->I2，I2&&I5->I1，I5 ->I1&&I2。

0 0