SringBoot中使用前缀树数据结构完成过滤敏感词功能
程序员文章站
2022-05-23 08:45:42
...
1.前缀树
- 名称:Trie、字典树、查找树
- 特点:查找效率高,消耗内存大
- 应用:字符串检索、词频统计、字符串排序等
2.敏感词过滤器
- 1.定义前缀树
- 2.根据敏感词,初始化前缀树
- 3.编写过滤敏感词的方法
3.创建保存敏感词的txt文件
- 先设一点即可
4.创建一个过滤敏感词的工具类
@Component
public class SensitiveFilter {
private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);
// 替换符
private static final String REPLACEMENT = "***";
/**
* 初始化根节点
*/
private TrieNode rootNode = new TrieNode();
@PostConstruct
public void init(){
try(
InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
BufferedReader reader = new BufferedReader(new InputStreamReader(is));
){
String keyword;
while((keyword = reader.readLine()) != null){
// 添加到前缀树
this.addKeyword(keyword);
}
}catch (IOException e){
logger.error("加载敏感词文件失败!" + e.getMessage());
}
}
/**
* 将敏感词添加到前缀树中
* @param keyword
*/
private void addKeyword(String keyword){
TrieNode tempNode = rootNode;
for(int i = 0; i < keyword.length(); i++){
char c = keyword.charAt(i);
TrieNode subNode = tempNode.getSubNode(c);
if(subNode == null){
// 初始化子节点
subNode = new TrieNode();
tempNode.addSubNode(c, subNode);
}
// 指向子节点,进入下一轮循环
tempNode = subNode;
// 设置结束标识
if(i == keyword.length() - 1){
tempNode.setKeywordEnd(true);
}
}
}
/**
* 过滤敏感词
* @param text 待过滤的文本
* @return 过滤后的文本
*/
public String filter(String text){
if(StringUtils.isBlank(text)){
return null;
}
// 指针1, 指向前缀树的节点
TrieNode tempNode = rootNode;
// 指针2,3指向待过滤的文本
int begin = 0;
int position = 0;
// 结果
StringBuilder sb = new StringBuilder();
while(position < text.length()){
char c = text.charAt(position);
// 跳过符号
if(isSymbol(c)){
// 若指针1处于根节点,将此符号计入结果,让指针2往下走一步
if(tempNode == rootNode){
sb.append(c);
begin++;
}
// 无论符号在开头或者中间,指针3都往下走一步
position++;
continue;
}
// 检查下级节点
tempNode = tempNode.getSubNode(c);
if(tempNode == null){
// 以begin开头的字符串不是敏感词
sb.append(text.charAt(begin));
// 进入下一个位置
position = ++begin;
// 重新指向根节点
tempNode = rootNode;
}else if(tempNode.isKeywordEnd()){
// 发现敏感词,将begin-position之间的字符进行替换
sb.append(REPLACEMENT);
// 进入下一个位置
begin = ++position;
// 重新指向根节点
tempNode = rootNode;
}else {
// 继续检查下一个字符
position++;
}
}
// 将最后一批字符计入结果
sb.append(text.substring(begin));
return sb.toString();
}
/**
* 判断是否问符号
* @param c
* @return
*/
private boolean isSymbol(Character c){
// 后面的范围为东亚的文字范围
return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
}
/**
* 前缀树
*/
private class TrieNode {
// 关键词结束标识
private boolean isKeywordEnd = false;
// 子节点(key是下级字符,value是下级节点)
private Map<Character, TrieNode> subNodes = new HashMap<>();
public boolean isKeywordEnd() {
return isKeywordEnd;
}
public void setKeywordEnd(boolean keywordEnd) {
isKeywordEnd = keywordEnd;
}
// 添加子节点
public void addSubNode(Character c, TrieNode node){
subNodes.put(c, node);
}
// 获取子节点
public TrieNode getSubNode(Character c){
return subNodes.get(c);
}
}
}
5.创建测试方法
@RunWith(SpringRunner.class)
@SpringBootTest
@ContextConfiguration(classes = CommunityApplication.class)
public class SensitiveTests {
@Autowired
private SensitiveFilter sensitiveFilter;
@Test
public void testSensitiveFilter(){
// 测试普通
String text = "这里可以**,可以嫖娼, 可以吸毒, 可以开票, 可以吹牛逼!!!";
text = sensitiveFilter.filter(text);
System.out.println(text);
// 测试特殊符号
text = "这里可以✳赌✳博✳,可以✳嫖✳娼✳, 可以✳吸✳毒✳, 可以✳开✳票✳, 可以✳吹✳牛✳逼✳!!!";
text = sensitiveFilter.filter(text);
System.out.println(text);
}
}
6.测试结果
上一篇: 通过过滤器实现登录验证
下一篇: servlet过滤器简约版