DFA 算法实现敏感词过滤(python 实现)
来源:互联网 发布:java adt是什么 编辑:程序博客网 时间:2024/05/17 03:48
敏感词过滤的经典算法DFA ,看完相关资料后,自己实现了一下,同时做了评估实验
先上代码
#!/usr/bin/python2.6 # -*- coding: utf-8 -*-import timeclass Node(object):def __init__(self):self.children = None# The encode of word is UTF-8def add_word(root,word):node = rootfor i in range(len(word)):if node.children == None:node.children = {}node.children[word[i]] = Node()elif word[i] not in node.children:node.children[word[i]] = Node()node = node.children[word[i]]def init(path):root = Node()fp = open(path,'r')for line in fp:line = line[0:-1]#print len(line)#print line#print type(line)add_word(root,line)fp.close()return root# The encode of word is UTF-8# The encode of message is UTF-8def is_contain(message, root):for i in range(len(message)):p = rootj = iwhile (j<len(message) and p.children!=None and message[j] in p.children):p = p.children[message[j]]j = j + 1if p.children==None:#print '---word---',message[i:j]return Truereturn Falsedef dfa():print '----------------dfa-----------'root = init('/tmp/word.txt')message = '四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死'#message = '不顾'print '***message***',len(message)start_time = time.time()for i in range(1000):res = is_contain(message,root)#print resend_time = time.time()print (end_time - start_time) def is_contain2(message,word_list):for item in word_list:if message.find(item)!=-1:return Truereturn Falsedef normal():print '------------normal--------------'path = '/tmp/word.txt'fp = open(path,'r')word_list = []message = '四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死'print '***message***',len(message)for line in fp:line = line[0:-1]word_list.append(line)fp.close()print 'The count of word:',len(word_list)start_time = time.time()for i in range(1000):res = is_contain2(message,word_list)#print resend_time = time.time()print (end_time - start_time) if __name__ == '__main__':dfa()normal()
测试结果:
1) 敏感词 100个
----------------dfa-----------
***message*** 224
0.325479984283
------------normal--------------
***message*** 224
The count of word: 100
0.107350111008
2) 敏感词 1000 个
----------------dfa-----------
***message*** 224
0.324251890182
------------normal--------------
***message*** 224
The count of word: 1000
1.05939006805
从上面的实验我们可以看出,在DFA 算法只有在敏感词较多的情况下,才有意义。在百来个敏感词的情况下,甚至不如普通算法
下面从理论上推导时间复杂度,为了方便分析,首先假定消息文本是等长的,长度为lenA;每个敏感词的长度相同,长度为lenB,敏感词的个数是m。
1) DFA算法的核心是构建一棵多叉树,由于我们已经假设,敏感词的长度相同,所以树的最大深度为lenB,那么我们可以说从消息文本的某个位置(字节)开始的某个子串是否在敏感词树中,最多只用经过lenB次匹配.也就是说判断一个消息文本中是否有敏感词的时间复杂度是lenA * lenB
2) 再来看看普通做法,是使用for循环,对每一个敏感词,依次在消息文本中进行查找,假定字符串是使用KMP算法,KMP算法的时间复杂度是O(lenA + lenB)
那么对m个敏感词查找的时间复杂度是 (lenA + lenB ) * m
综上所述,DFA 算法的时间复杂度基本上是与敏感词的个数无关的。
- DFA 算法实现敏感词过滤(python 实现)
- Java DFA算法实现敏感词过滤
- 基于DFA算法实现过滤敏感词
- Java实现DFA算法 实现敏感词过滤
- java实现敏感词过滤 dfa算法实现
- java敏感词过滤-使用HashMap实现DFA算法
- java敏感词过滤-使用HashMap实现DFA算法
- java敏感词过滤-使用HashMap实现DFA算法
- 高效敏感词过滤JAVA实现(DFA算法)
- java敏感词过滤-使用HashMap实现DFA算法
- Java实现DFA算法对敏感词、广告词过滤功能
- DFA算法 及java版本实现敏感词过滤
- iOS敏感词过滤,DFA算法的OC实现
- DFA算法 及java版本实现敏感词过滤
- 简单实现java DFA算法对敏感词过滤
- DFA敏感词过滤算法
- DFA算法实现过滤多家公司自定义敏感字
- DFA和trie字典树实现敏感词过滤(python和c语言)
- 国内开源缺陷管理系统PPM Bug v1.5发布
- 301重定向2:iis7.0/7.5下的httpModules设置
- IOS用正则表达式验证textfield输入的内容是否合法
- 杭电 Prime Ring Problem 1016 DFS
- java编程实现杨辉三角(摘自java核心技术.卷I)
- DFA 算法实现敏感词过滤(python 实现)
- STL算法简介
- opencv学习心得三----读取摄像头
- Android中联系人使用
- httpModules?与 httpHandler 的区别
- Humble number
- hibernate中存枚举类型的配置
- hdu 2089 不要62(数位dp)
- 更新整理本人所有博文中提供的代码与工具(Java,2013.08)