搜索引擎中长串匹配及聚类算法:后缀树算法

 上个月写了一个后缀树算法,但是生成树的效率极低,这次重新改写,效率接近线性了,c++实现的,下面面是核心算法:

    Node *pTmpNode;    Edge *pEdge, *pTmpEdge;    unsigned int i,edgeNum;    unsigned int matchedPos=0;//匹配到的位置        bool bMatched=false;    m_pOldNode=NULL;    #ifdef Debug        #ifdef add_node             printf("<<<<<<<<<<<<<< '%s' >>>>>>>>>>>>>>>>\n",subData(start,1).c_str());        #endif    #endif    //搜索节点是否包含待加入字符    while(!bMatched)    {                    //活动节点:隐含节点为激活节点,或者本身为激活节点        //注意活动节点是非叶节点        //1.匹配整个后缀,即结束节点        //如果是隐含节点        if(m_activeNode.m_bImplicit)        {            matchedPos=m_activeNode.getImplicitPosition();            if(isDataEqual(start,matchedPos))            {                bMatched=true;//退出,因为更短的后缀也肯定是匹配的            }        }        //显示节点        else        {                        edgeNum=m_activeNode.m_pNode->getChildNum();            for(i=0;i<edgeNum;i++)            {                matchedPos=m_activeNode.m_pNode->getChildEdge(i)->getStartPos();                if(isDataEqual(start,matchedPos))                {                    bMatched=true;                    break;                }                        }        }                if(bMatched)        {            //更新激活节点            m_activeNode.increaseImplicitNodeOffset(i);//可能显隐互变?        }        //最后字符不匹配        else        {            //2.隐式节点,拆分节点,并添加叶节点            if(m_activeNode.m_bImplicit)            {                //拆分:                                pEdge=m_activeNode.getEdge();//上面边                //添加1个节点                pTmpNode=new Node(pEdge);//中间节点                //拆分为2条边                pTmpEdge=new Edge(matchedPos,pEdge->getVirtualEndPos(),pTmpNode,this);//下面边                pEdge->updateEndPosition(matchedPos);//若是叶子节点时,从此摆脱叶子节点                pTmpEdge->setNextNode(pEdge->getNextNode());                pEdge->setNextNode(pTmpNode);                                pTmpNode->addEdge(pTmpEdge);                //隐式节点变显示节点,并作为激活节点(有点牵强?)                m_activeNode.setExplicitNode(pTmpNode);                //后缀链接                if(m_pOldNode!=NULL)                    m_pOldNode->setNextSuffixPointer(m_activeNode.m_pNode);                m_pOldNode=m_activeNode.m_pNode;                #ifdef Debug                    #ifdef add_node                         printf("\nsplit:\n %d,%d,%d [%s]\n %d,%d [%s--%s] \n",pEdge->getStartPos(),pEdge->getEndPos(),pTmpEdge->getEndPos(),                                subData(pEdge->getStartPos(),pTmpEdge->getEndPos()-pEdge->getStartPos()).c_str(),start,start+1,                                subData(pEdge->getStartPos(),pEdge->getEndPos()-pEdge->getStartPos()).c_str(),subData(start,1).c_str());                    #endif                #endif                        }            //3.显示节点,仅在显示节点下新增叶子节点            //显示节点下新增叶子节点(含上面隐式变显示的节点)                pTmpEdge=new Edge(start,0,m_activeNode.m_pNode,this);//end为0时表示叶子节点             m_activeNode.m_pNode->addEdge(pTmpEdge);                        #ifdef Debug                #ifdef add_node                     int endPos=0;                    if(m_activeNode.m_bImplicit)                        endPos=m_activeNode.getEdge()->getEndPos();                    else if(m_activeNode.m_pNode!=m_pRoot)                        endPos=m_activeNode.m_pNode->getFrontEdge()->getEndPos();                    printf("\nnew:\n %d-(%d,%d '%s'--'%s')\n\n",endPos,                        start,start+1,subData(endPos-1,1).c_str(),subData(pTmpEdge->getStartPos(),pTmpEdge->charSize()).c_str());                #endif            #endif            //匹配更短的后缀            //判断后缀指针是否存在            if(m_activeNode.m_pNode->hasNextSuffixPointer())            {                m_activeNode.setExplicitNode(m_activeNode.m_pNode->getNextSuffix());            }            //若不存在则手动搜索下一个更短后缀            else                {                    //4.当前后缀已经为根节点(非隐含),退出                if(m_activeNode.m_pNode==m_pRoot)//!!!                    bMatched=true;                else                {                    CharPosition pos;                    pTmpNode=m_activeNode.m_pNode;                    //要查找的更短后缀                    string str;                    /*无论如何此时m_activeNode为显示节点                    //(开始就是根节点下的)隐含节点                    if(m_activeNode.m_bImplicit)//pTmpEdge==NULL                    {                        pTmpEdge=m_activeNode.getEdge();                        str=subData(pTmpEdge->getStartPos(),m_activeNode.m_nImplicitNodeOffsetInEdge);                    }*/                    while( (pTmpEdge=pTmpNode->getFrontEdge()) != NULL )                    {                        str.insert(0,subData(pTmpEdge->getStartPos(),pTmpEdge->getEndPos()-pTmpEdge->getStartPos()));                        pTmpNode=pTmpEdge->getFrontNode();                        if(pTmpNode==m_pRoot)//找到根节点下面的边                        {                            break;                        }                    }                    str.erase(0,1);                    //不连续时会出问题!!!                    //str=this->subData(pTmpEdge->getStartPos()+1,matchedPos-(pTmpEdge->getStartPos()+1));                    if(str.length()==0)//表示没有更短的后缀了,将根节点作为激活节点                    {                        m_activeNode.setExplicitNode(m_pRoot);                    }                    else if(search(str,pTmpNode,pos))//必定能找到,查找到结果后,隐式节点返回值pTmpNode为父节点指针                    {                        m_activeNode.m_pNode=pTmpNode;                        m_activeNode.m_nImplicitNodeEdge=pos.edgeIndex;                        m_activeNode.m_bImplicit=(pos.charIndex!=0);                        m_activeNode.m_nImplicitNodeOffsetInEdge=pos.charIndex;                                        }                    else                    {                        printf("################# search error #############\n");                    }                }            }                }//end of else    }//end of while