Trie树学习

来源:互联网 发布:java电商架构 编辑:程序博客网 时间:2024/05/16 05:40

初学时为了少走弯路,先看看博主的水平后看博文,主要挑了两个大牛进行学习: 海子和归宿。

Trie树也称字典树,因为其效率很高,所以在在字符串查找、前缀匹配等中应用很广泛,其高效率是以空间为代价的。

一.Trie树的原理

    利用串构建一个字典树,这个字典树保存了串的公共前缀信息,因此可以降低查询操作的复杂度。

    下面以英文单词构建的字典树为例,这棵Trie树中每个结点包括26个孩子结点,因为总共有26个英文字母(假设单词都是小写字母组成)。

    则可声明包含Trie树的结点信息的结构体:

#define MAX 26typedef struct TrieNode               //Trie结点声明 {    bool isStr;                      //标记该结点处是否构成单词     struct TrieNode *next[MAX];      //儿子分支 }Trie;

其中next是一个指针数组,存放着指向各个孩子结点的指针。

    如给出字符串"abc","ab","bd","dda",根据该字符串序列构建一棵Trie树。则构建的树如下:


Trie树的根结点不包含任何信息,第一个字符串为"abc",第一个字母为'a',因此根结点中数组next下标为'a'-97的值不为NULL,其他同理,构建的Trie树如图所示,红色结点表示在该处可以构成一个单词。很显然,如果要查找单词"abc"是否存在,查找长度则为O(len),len为要查找的字符串的长度。而若采用一般的逐个匹配查找,则查找长度为O(len*n),n为字符串的个数。显然基于Trie树的查找效率要高很多。

但是却是以空间为代价的,比如图中每个结点所占的空间都为(26*4+1)Byte=105Byte,那么这棵Trie树所占的空间则为105*8Byte=840Byte,而普通的逐个查找所占空间只需(3+2+2+3)Byte=10Byte。

二.Trie树的操作

    在Trie树中主要有3个操作,插入、查找和删除。一般情况下Trie树中很少存在删除单独某个结点的情况,因此只考虑删除整棵树。

1.插入

  假设存在字符串str,Trie树的根结点为root。i=0,p=root。

  1)取str[i],判断p->next[str[i]-97]是否为空,若为空,则建立结点temp,并将p->next[str[i]-97]指向temp,然后p指向temp;

   若不为空,则p=p->next[str[i]-97];

  2)i++,继续取str[i],循环1)中的操作,直到遇到结束符'\0',此时将当前结点p中的isStr置为true。

2.查找

  假设要查找的字符串为str,Trie树的根结点为root,i=0,p=root

  1)取str[i],判断判断p->next[str[i]-97]是否为空,若为空,则返回false;若不为空,则p=p->next[str[i]-97],继续取字符。

  2)重复1)中的操作直到遇到结束符'\0',若当前结点p不为空并且isStr为true,则返回true,否则返回false。

3.删除

  删除可以以递归的形式进行删除。

三、测试程序:

/*Trie树(字典树) 2011.10.10*/ #include <iostream>#include<cstdlib>#define MAX 26using namespace std; typedef struct TrieNode                     //Trie结点声明 {    bool isStr;                            //标记该结点处是否构成单词     struct TrieNode *next[MAX];            //儿子分支 }Trie; void insert(Trie *root,const char *s)     //将单词s插入到字典树中 {    if(root==NULL||*s=='\0')        return;    int i;    Trie *p=root;    while(*s!='\0')    {        if(p->next[*s-'a']==NULL)        //如果不存在,则建立结点         {            Trie *temp=(Trie *)malloc(sizeof(Trie));            for(i=0;i<MAX;i++)            {                temp->next[i]=NULL;            }            temp->isStr=false;            p->next[*s-'a']=temp;            p=p->next[*s-'a'];           }           else        {            p=p->next[*s-'a'];        }        s++;    }    p->isStr=true;                       //单词结束的地方标记此处可以构成一个单词 } int search(Trie *root,const char *s)  //查找某个单词是否已经存在 {    Trie *p=root;    while(p!=NULL&&*s!='\0')    {        p=p->next[*s-'a'];        s++;    }    return (p!=NULL&&p->isStr==true);      //在单词结束处的标记为true时,单词才存在 } void del(Trie *root)                      //释放整个字典树占的堆区空间 {    int i;    for(i=0;i<MAX;i++)    {        if(root->next[i]!=NULL)        {            del(root->next[i]);        }    }    free(root);} int main(int argc, char *argv[]){    int i;    int n,m;                              //n为建立Trie树输入的单词数,m为要查找的单词数     char s[100];    Trie *root= (Trie *)malloc(sizeof(Trie));    for(i=0;i<MAX;i++)    {        root->next[i]=NULL;    }    root->isStr=false;    scanf("%d",&n);    getchar();    for(i=0;i<n;i++)                 //先建立字典树     {        scanf("%s",s);        insert(root,s);    }    while(scanf("%d",&m)!=EOF)    {        for(i=0;i<m;i++)                 //查找         {            scanf("%s",s);            if(search(root,s)==1)                printf("YES\n");            else                printf("NO\n");        }        printf("\n");       }    del(root);                         //释放空间很重要     return 0;}


四、查找分析

在trie树中查找一个关键字的时间和树中包含的结点数无关,而取决于组成关键字的字符数。而二叉查找树的查找时间和树中的结点数有关O(log2n)。
       如果要查找的关键字可以分解成字符序列且不是很长,利用trie树查找速度优于二叉查找树。如:
       若关键字长度最大是5,则利用trie树,利用5次比较可以从26^5=11881376个可能的关键字中检索出指定的关键字。而利用二叉查找树至少要进行次比较。

五、Trie树应用

1. 字符串检索,词频统计,搜索引擎的热门查询

        事先将已知的一些字符串(字典)的有关信息保存到trie树里,查找另外一些未知字符串是否出现过或者出现频率。

        举例:

       1)有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存限制大小是1M。返回频数最高的100个词。

       2)给出N 个单词组成的熟词表,以及一篇全用小写英文书写的文章,请你按最早出现的顺序写出所有不在熟词表中的生词。

       3)给出一个词典,其中的单词为不良单词。单词均为小写字母。再给出一段文本,文本的每一行也由小写字母构成。判断文本中是否含有任何不良单词。例如,若rob是不良单词,那么文本problem含有不良单词。

       4)1000万字符串,其中有些是重复的,需要把重复的全部去掉,保留没有重复的字符串

       5)寻找热门查询:搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。假设目前有一千万个记录,这些查询串的重复读比较高,虽然总数是1千万,但是如果去除重复和,不超过3百万个。一个查询串的重复度越高,说明查询它的用户越多,也就越热门。请你统计最热门的10个查询串,要求使用的内存不能超过1G。

2. 字符串最长公共前缀

       Trie树利用多个字符串的公共前缀来节省存储空间,反之,当我们把大量字符串存储到一棵trie树上时,我们可以快速得到某些字符串的公共前缀。举例:

      1) 给出N 个小写英文字母串,以及Q 个询问,即询问某两个串的最长公共前缀的长度是多少.  解决方案:

        首先对所有的串建立其对应的字母树。此时发现,对于两个串的最长公共前缀的长度即它们所在结点的公共祖先个数,于是,问题就转化为了离线  (Offline)的最近公共祖先(Least Common Ancestor,简称LCA)问题。

       而最近公共祖先问题同样是一个经典问题,可以用下面几种方法:

        1. 利用并查集(Disjoint Set),可以采用采用经典的Tarjan 算法;

        2. 求出字母树的欧拉序列(Euler Sequence )后,就可以转为经典的最小值查询(Range Minimum Query,简称RMQ)问题了;

3.  排序

       Trie树是一棵多叉树,只要先序遍历整棵树,输出相应的字符串便是按字典序排序的结果。

        举例: 给你N 个互不相同的仅由一个单词构成的英文名,让你将它们按字典序从小到大排序输出。

4 作为其他数据结构和算法的辅助结构

       如后缀树,AC自动机等。

六、训练题目:

http://acm.hdu.edu.cn/showproblem.php?pid=1671

http://acm.hdu.edu.cn/showproblem.php?pid=1075

http://acm.hdu.edu.cn/showproblem.php?pid=1251




0 0
原创粉丝点击