DFA算法过滤敏感词整理
来源:互联网 发布:淘宝泄露客户信息处罚 编辑:程序博客网 时间:2024/06/04 18:53
这里有部分是从网上找的,但看起来太乱了,分的太散了。研究了几天,整理出来,有问题的话还请大虾们提出来....
DFA算法过滤敏感词整理
package org.rui.util;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.util.HashMap;import java.util.HashSet;import java.util.Iterator;import java.util.Map;import java.util.Set;/** * 检查是否有敏感词,并返回敏感词和数量 * YN =是否是最后一个 Y=是 N=不是 * * @author lenovo * */public class FilterWord{public static final Integer MATCH_TYPE_X = 2;// 最小匹配规则public static final Integer MATCH_TYPE_M = 1;// 最大匹配规则public static Set<String> readWorld(){InputStreamReader read = null;Set<String> set = null;try {File file = new File("D:\\SensitiveWord.txt"); // 读取文件read = new InputStreamReader(new FileInputStream(file), "UTF-8");if (file.isFile() && file.exists()) { // 文件流是否存在set = new HashSet<String>();BufferedReader bufferedReader = new BufferedReader(read);String txt = null;while ((txt = bufferedReader.readLine()) != null) { // 读取文件,将文件内容放入到set中set.add(txt);}} else {// throw new Exception("敏感词库文件不存在");}} catch (Exception e) {e.printStackTrace();} finally {if (read != null) {try {read.close();} catch (IOException e) {e.printStackTrace();} // 关闭文件流}}return set;}public static Map getMap(){Map WordMap = new HashMap();String key = null;Map nowMap = null;Map<String, String> newWorMap = null;// 迭代keyWordSetIterator<String> iterator = readWorld().iterator();while (iterator.hasNext()) {key = iterator.next(); // 关键字nowMap = WordMap;for (int i = 0; i < key.length(); i++) {char keyChar = key.charAt(i); // 转换成char型Object wordMap = nowMap.get(keyChar); // 获取if (wordMap != null) { // 如果存在该key,直接赋值nowMap = (Map) wordMap;} else { // 不存在则,则构建一个map,同时将isEnd设置为0,因为他不是最后一个newWorMap = new HashMap<String, String>();newWorMap.put("YN", "N"); // 不是最后一个nowMap.put(keyChar, newWorMap);nowMap = newWorMap;}if (i == key.length() - 1) {nowMap.put("YN", "Y"); // 最后一个}}}return WordMap;}public static void main(String[] args){// 添加敏感 词,这里也可以从数据库中读取Map sensitiveWordMap = getMap();Set<String> sensitiveWordList = new HashSet<String>();String txt = "问世间,情是何物,直教生死相许。天南地北双飞客,老翅几回寒暑。欢乐趣,别离苦,是中更有痴儿女。"+ "胡锦涛和习近平君应有语。渺万里层云,千山暮雪,只影为谁去?横汾路,寂寞当年箫鼓。荒烟依旧平楚。招魂楚些何嗟及,"+ "胡锦涛习近平山鬼自啼风雨。天也妒。未信与,莺儿燕子俱黄土。千秋万古。为留待骚人,狂歌痛饮,来访雁丘处。";for (int i = 0; i < txt.length(); i++) {int length = 0;// 匹配标识数默认为0boolean flag = false; // 敏感词结束标识位:用于敏感词只有1位的情况char word = 0;Map nowMap = sensitiveWordMap;for (int j = i; j < txt.length(); j++) {word = txt.charAt(j);nowMap = (Map) nowMap.get(word); // 获取指定keyif (nowMap != null) { // 存在,则判断是否为最后一个length++; // 找到相应key,匹配标识+1if ("Y".equals(nowMap.get("YN"))) { // 如果为最后一个匹配规则,结束循环,返回匹配标识数flag = true; // 结束标志位为trueif (FilterWord.MATCH_TYPE_M == 1) { // 最小规则,直接返回,最大规则还需继续查找break;}}} else { // 不存在,直接返回break;}}if (length < 2 || !flag) { // 长度必须大于等于1,为词length = 0;}if (length > 0) { // 存在,加入list中sensitiveWordList.add(txt.substring(i, i + length));i = i + length - 1; // 减1的原因,是因为for会自增}}System.out.println("语句中包含敏感词的个数为:" + sensitiveWordList.size() + "。包含:"+ sensitiveWordList);}}/*** * 语句中包含敏感词的个数为:2。包含:[习近平, 胡锦涛] */
package org.rui.util;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.util.HashMap;import java.util.HashSet;import java.util.Iterator;import java.util.Map;import java.util.Set;/** * @desc DFA 过滤敏感词 用*号替换 * @date 2015/04/04 * @author liangrui * */public class ReplaceKeyWord{public static final Integer MATCH_TYPE_X = 2;// 最小匹配规则public static final Integer MATCH_TYPE_M = 1;// 最大匹配规则/** * 读取敏感词 * * @return */public static Set<String> readWorld(){InputStreamReader read = null;Set<String> set = null;try {File file = new File("D:\\SensitiveWord.txt"); // 读取文件read = new InputStreamReader(new FileInputStream(file), "UTF-8");if (file.isFile() && file.exists()) { // 文件流是否存在set = new HashSet<String>();BufferedReader bufferedReader = new BufferedReader(read);String txt = null;while ((txt = bufferedReader.readLine()) != null) { // 读取文件,将文件内容放入到set中set.add(txt);}} else {// throw new Exception("敏感词库文件不存在");}} catch (Exception e) {e.printStackTrace();} finally {if (read != null) {try {read.close();} catch (IOException e) {e.printStackTrace();} // 关闭文件流}}return set;}/** * DFA算法 模型 * * @return */public static Map getMap(){Map WordMap = new HashMap();String key = null;Map nowMap = null;Map<String, String> newWorMap = null;// 迭代keyWordSetIterator<String> iterator = readWorld().iterator();while (iterator.hasNext()) {key = iterator.next(); // 关键字nowMap = WordMap;for (int i = 0; i < key.length(); i++) {char keyChar = key.charAt(i); // 转换成char型Object wordMap = nowMap.get(keyChar); // 获取if (wordMap != null) { // 如果存在该key,直接赋值nowMap = (Map) wordMap;} else { // 不存在则,则构建一个map,同时将isEnd设置为0,因为他不是最后一个newWorMap = new HashMap<String, String>();newWorMap.put("YN", "N"); // 不是最后一个nowMap.put(keyChar, newWorMap);nowMap = newWorMap;}if (i == key.length() - 1) {nowMap.put("YN", "Y"); // 最后一个}}}return WordMap;}/** * 替换 * * @param txt * @param map * @return */public static String replace(String txt, Map map){StringBuffer sb = new StringBuffer(txt);for (int i = 0; i < txt.length(); i++) {int length = 0;// 匹配标识数默认为0boolean flag = false; // 敏感词结束标识位:用于敏感词只有1位的情况char word = 0;Map nowMap = map;for (int j = i; j < txt.length(); j++) {word = txt.charAt(j);nowMap = (Map) nowMap.get(word); // 获取指定keyif (nowMap != null) { // 存在,则判断是否为最后一个length++; // 找到相应key,匹配标识+1if ("Y".equals(nowMap.get("YN"))) { // 如果为最后一个匹配规则,结束循环,返回匹配标识数flag = true; // 结束标志位为trueif (ReplaceKeyWord.MATCH_TYPE_M == 1) { // 最小规则,直接返回,最大规则还需继续查找break;}}} else { // 不存在,直接返回break;}}if (length < 2 || !flag) { // 长度必须大于等于1,为词length = 0;}if (length > 0) { // 存在char[] c = new char[length];for (int x = 0; x < length; x++) {c[x] = '*';}sb.replace(i, i + length, new String(c));i = i + length - 1; // 减1的原因,是因为for会自增}}return sb.toString();}public static void main(String[] args){// 添加敏感 词,这里也可以从数据库中读取Map map = getMap();String txt = "问世间,情是何物,直教生死相许。天南地北双飞客,老翅几回寒暑。欢乐趣,别离苦,是中更有痴儿女。"+ "胡锦涛和习近平君应有语。渺万里层云,千山暮雪,只影为谁去?横汾路,寂寞当年箫鼓。荒烟依旧平楚。招魂楚些何嗟及,"+ "胡锦涛习近平山鬼自啼风雨。天也妒。未信与,莺儿燕子俱黄土。千秋万古。为留待骚人,狂歌痛饮,来访雁丘处。";long beginTime = System.currentTimeMillis();String result = replace(txt, map);long endTime = System.currentTimeMillis();System.out.println("总共消耗时间为:" + (endTime - beginTime));System.out.println("result:" + result);// Set set = readWorld();}}/*** * result:问世间,情是何物,直教生死相许。天南地北双飞客,老翅几回寒暑。欢乐趣,别离苦,是中更有痴儿女。***和***君应有语。 * 渺万里层云,千山暮雪,只影为谁去?横汾路,寂寞当年箫鼓。荒烟依旧平楚。招魂楚些何嗟及,******山鬼自啼风雨。 * 天也妒。未信与,莺儿燕子俱黄土。千秋万古。为留待骚人,狂歌痛饮,来访雁丘处。 * / */
1 0
- DFA算法过滤敏感词整理
- DFA敏感词过滤算法
- DFA算法过滤敏感词,替换为*
- DFA算法过滤敏感词,替换为*
- Java DFA算法实现敏感词过滤
- 敏感词查询过滤DFA算法
- 基于DFA算法实现过滤敏感词
- 敏感词汇过滤DFA算法
- java DFA 敏感词过滤
- DFA 算法实现敏感词过滤(python 实现)
- java敏感词过滤-使用HashMap实现DFA算法
- java敏感词过滤-使用HashMap实现DFA算法
- java敏感词过滤-使用HashMap实现DFA算法
- 高效敏感词过滤JAVA实现(DFA算法)
- java敏感词过滤-使用HashMap实现DFA算法
- 敏感词过滤与DFA算法Trie树
- Java实现DFA算法对敏感词、广告词过滤功能
- DFA算法 及java版本实现敏感词过滤
- (转)maven是什么?
- operator++()和operator++(int)的区别
- openwrt-pandorabox
- mini2440上一步步实现将ADS工程移植到keil MDK(附移植好的完整代码)
- uva537 Artificial Intelligence?(字符串转化为浮点数)
- DFA算法过滤敏感词整理
- 蓝桥杯 画表格
- 6.4 Nagle算法与CORK算法
- 分治法,divide and conqure
- C++输入不定长字符串方法
- ACE6.3编译
- Qt下载地址
- JavaScript中的cookie
- nginx介绍