Java實戰(zhàn)之敏感詞過濾器
一、導包
本文的敏感詞過濾器用在SpringBoot項目中,因此,首先需要在pom.xml文件中導入如下依賴
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-thymeleaf</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>runtime</scope> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.9</version> </dependency>
二、敏感詞文件
在resources目錄下,創(chuàng)建sensitive-word.txt,里面填入需要過濾的敏感詞信息。


三、前綴樹的實現(xiàn)
前綴樹TrieNode以一個空節(jié)點為頭結點,每個節(jié)點下包含若干子節(jié)點,不同節(jié)點代表不同字符。TrieNode 由兩部分組成,首先是一個boolean變量,表示該結點是否為一個關鍵詞的終結點。其次是該結點的子節(jié)點集合,在本文中,用HashMap存儲子節(jié)點,key存儲結點代表的字符,類型為Character,value為TrieNode,表示子節(jié)點。實現(xiàn)的代碼如下。
//前綴樹
private class TrieNode{
//關鍵詞結束標識
private boolean isKeywordEnd = false;
//子節(jié)點
private Map<Character,TrieNode> subNodes = new HashMap<>();
//isKeywordEnd的get、set方法
public boolean isKeywordEnd() {
return isKeywordEnd;
}
public void setKeywordEnd(boolean keywordEnd) {
isKeywordEnd = keywordEnd;
}
//添加子節(jié)點
public void addSubNode(Character c,TrieNode node){
subNodes.put(c,node);
}
//獲取子節(jié)點
public TrieNode getSubNode(Character c){
return subNodes.get(c);
}
}
四、敏感詞過濾器的實現(xiàn)
@Component
public class SensitiveFilter {
// 替換符
private static final String REPLACEMENT = "***";
//根節(jié)點
private TrieNode rootNode = new TrieNode();
//bean的初始化方法,服務一啟動,容器自動給bean執(zhí)行此方法完成初始化
//此方法的目的是讀取敏感詞文件,構建敏感詞前綴樹
@PostConstruct
public void init(){
try(
InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
BufferedReader reader = new BufferedReader(new InputStreamReader(is));
){
String keyword;
while((keyword=reader.readLine())!=null){
this.addKeyword(keyword);
}
}catch (IOException e){
logger.error("加載敏感詞文件失敗: " + e.getMessage());
}
}
//將一個敏感詞添加到前綴樹
private void addKeyword(String keyword){
TrieNode tempNode = rootNode;
for (int i = 0; i <keyword.length() ; i++) {
char c = keyword.charAt(i);
TrieNode subNode = tempNode.getSubNode(c);
if(subNode==null){
//初始化子節(jié)點
subNode = new TrieNode();
tempNode.addSubNode(c,subNode);
}
//指向子節(jié)點,進入下一輪循環(huán)
tempNode = subNode;
//設置結束標志
if(i==keyword.length()-1){
tempNode.setKeywordEnd(true);
}
}
}
/**
* 過濾敏感詞
*
* @param text 待過濾的文本
* @return 過濾后的文本
*/
public String filter(String text){
if(StringUtils.isBlank(text)){
return null;
}
//指針1
TrieNode tempNode = rootNode;
//指針2
int begin = 0;
//指針3
int position = 0;
//結果
StringBuilder sb = new StringBuilder();
while(position<text.length()){
char c = text.charAt(position);
/*
跳過符號
情況一:符號在敏感詞前面,將符號寫入結果,如 ☆敏感詞
情況二:符號在敏感詞中間,則將符號與敏感詞一起替換,如敏☆感☆詞
*/
if(isSymbol(c)){
//若指針1處于根節(jié)點,對應情況一,將符號計入結果,讓指針2向下走一步
if(tempNode==rootNode){
sb.append(c);
begin++;
}
//無論符號在開頭還是敏感詞中間,指針3都向下走一步
position++;
continue;
}
//檢查下級節(jié)點
tempNode = tempNode.getSubNode(c);
if(tempNode==null){
//以begin開頭的的字符串不是敏感詞
sb.append(text.charAt(begin));
//指針2和指針3共同指向指針2的下一個位置
position = ++begin;
//指針1重新指向根節(jié)點
tempNode = rootNode;
}else if(tempNode.isKeywordEnd()){
//發(fā)現(xiàn)敏感詞,將begin~position字符串替換
sb.append(REPLACEMENT);
//進入下一個位置
begin = ++position;
//指針1重新指向根節(jié)點
tempNode = rootNode;
}else {
//檢查下一個字符
position++;
}
}
//將最后一批字符計入結果
sb.append(text.substring(begin));
return sb.toString();
}
//判斷是否為符號
private boolean isSymbol(Character c){
// 0x2E80~0x9FFF 是東亞文字范圍
return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
}
}
到此這篇關于Java實戰(zhàn)之敏感詞過濾器的文章就介紹到這了,更多相關Java敏感詞過濾器內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
SpringBoot集成P6Spy實現(xiàn)SQL日志的記錄詳解
P6Spy是一個框架,它可以無縫地攔截和記錄數據庫活動,而無需更改現(xiàn)有應用程序的代碼。一般我們使用的比較多的是使用p6spy打印我們最后執(zhí)行的sql語句2022-11-11
IDEA使用MyBatisCodeHelperPro來generator代碼的詳細教程
這篇文章主要介紹了IDEA使用MyBatisCodeHelperPro來generator代碼的詳細教程,本文通過圖文并茂的形式給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-09-09
Kotlin-Coroutines中的async與await異步協(xié)程管理
這篇文章主要為大家介紹了Kotlin-Coroutines中的async與await異步協(xié)程管理,提升程序性能解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-10-10
@Configuration與@Component作為配置類的區(qū)別詳解
這篇文章主要介紹了@Configuration與@Component作為配置類的區(qū)別詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2019-06-06

