BlockingQueue隊(duì)列處理高并發(fā)下的日志

前言
當(dāng)系統(tǒng)流量負(fù)載比較高時(shí),業(yè)務(wù)日志的寫入操作也要納入系統(tǒng)性能考量之內(nèi),如若處理不當(dāng),將影響系統(tǒng)的正常業(yè)務(wù)操作,之前寫過一篇《spring boot通過MQ消費(fèi)log4j2的日志》的博文,采用了RabbitMQ消息中間件來存儲(chǔ)抗高并發(fā)下的日志,因?yàn)橐肓酥虚g件,操作使用起來可能沒那么簡(jiǎn)便,今天分享使用多線程消費(fèi)阻塞隊(duì)列的方式來處理我們的海量日志
what阻塞隊(duì)列?
阻塞隊(duì)列(BlockingQueue)是區(qū)別于普通隊(duì)列多了兩個(gè)附加操作的線程安全的隊(duì)列。這兩個(gè)附加的操作是:在隊(duì)列為空時(shí),獲取元素的線程會(huì)等待隊(duì)列變?yōu)榉强铡.?dāng)隊(duì)列滿時(shí),存儲(chǔ)元素的線程會(huì)等待隊(duì)列可用。阻塞隊(duì)列常用于生產(chǎn)者和消費(fèi)者的場(chǎng)景,生產(chǎn)者是往隊(duì)列里添加元素的線程,消費(fèi)者是從隊(duì)列里拿元素的線程。阻塞隊(duì)列就是生產(chǎn)者存放元素的容器,而消費(fèi)者也只從容器里拿元素。
1.聲明存儲(chǔ)固定消息的隊(duì)列
/**
* Created by kl on 2017/3/20.
* Content :銷售操作日志隊(duì)列
*/
public class SalesLogQueue{
//隊(duì)列大小
public static final int QUEUE_MAX_SIZE = 1000;
private static SalesLogQueue alarmMessageQueue = new SalesLogQueue();
//阻塞隊(duì)列
private BlockingQueueblockingQueue = new LinkedBlockingQueue<>(QUEUE_MAX_SIZE);
private SalesLogQueue(){}
public static SalesLogQueue getInstance() {
return alarmMessageQueue;
}
/**
* 消息入隊(duì)
* @param salesLog
* @return
*/
public boolean push(SalesLog salesLog) {
return this.blockingQueue.add(salesLog);//隊(duì)列滿了就拋出異常,不阻塞
}
/**
* 消息出隊(duì)
* @return
*/
public SalesLog poll() {
SalesLog result = null;
try {
result = this.blockingQueue.take();
} catch (InterruptedException e) {
e.printStackTrace();
}
return result;
}
/**
* 獲取隊(duì)列大小
* @return
*/
public int size() {
return this.blockingQueue.size();
}
}ps:因?yàn)闃I(yè)務(wù)原因,采用add的方式入隊(duì),隊(duì)列滿了就拋異常,不阻塞
2.消息入隊(duì)
消息入隊(duì)可以在任何需要保存日志的地方操作,如aop統(tǒng)一攔截日志處理,filter過濾請(qǐng)求日志處理,或者耦合的業(yè)務(wù)日志,記住,不阻塞入隊(duì)操作,不然將影響正常的業(yè)務(wù)操作,如下為filter統(tǒng)一處理請(qǐng)求日志:
/**
* Created by kl on 2017/3/20.
* Content :訪問請(qǐng)求攔截,保存操作日志
*/
public class SalesLogFilter implements Filter {
private RoleResourceService resourceService;
@Override
public void init(FilterConfig filterConfig) throws ServletException {
ServletContext context = filterConfig.getServletContext();
ApplicationContext ctx = WebApplicationContextUtils.getWebApplicationContext(context);
resourceService = ctx.getBean(RoleResourceService.class);
}
@Override
public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain filterChain) throws IOException, ServletException {
try {
HttpServletRequest request = (HttpServletRequest) servletRequest;
String requestUrl = request.getRequestURI();
String requestType=request.getMethod();
String ipAddress = HttpClientUtil.getIpAddr(request);
Map resource=resourceService.getResource();
String context=resource.get(requestUrl);
//動(dòng)態(tài)url正則匹配
if(StringUtil.isNull(context)){
for(Map.Entry entry:resource.entrySet()){
String resourceUrl= entry.getKey();
if(requestUrl.matches(resourceUrl)){
context=entry.getValue();
break;
}
}
}
SalesLog log=new SalesLog();
log.setCreateDate(new Timestamp(System.currentTimeMillis()));
log.setContext(context);
log.setOperateUser(UserTokenUtil.currentUser.get().get("realname"));
log.setRequestIp(ipAddress);
log.setRequestUrl(requestUrl);
log.setRequestType(requestType);
SalesLogQueue.getInstance().push(log);
}catch (Exception e){
e.printStackTrace();
}
filterChain.doFilter(servletRequest, servletResponse);
}
@Override
public void destroy() {
}
}3.消息出隊(duì)被消費(fèi)
BlockingQueue是線程安全的,所以可以放心的在多個(gè)線程中去處理隊(duì)列中的消息,如下代碼聲明了一個(gè)兩個(gè)大小的固定線程池,并添加了兩個(gè)線程去處理隊(duì)列中的消息
/**
* Created by kl on 2017/3/20.
* Content :啟動(dòng)消費(fèi)操作日志隊(duì)列的線程
*/
@Component
public class ConsumeSalesLogQueue {
@Autowired
SalesLogService salesLogService;
@PostConstruct
public void startrtThread() {
ExecutorService e = Executors.newFixedThreadPool(2);//兩個(gè)大小的固定線程池
e.submit(new PollSalesLog(salesLogService));
e.submit(new PollSalesLog(salesLogService));
}
class PollSalesLog implements Runnable {
SalesLogService salesLogService;
public PollSalesLog(SalesLogService salesLogService) {
this.salesLogService = salesLogService;
}
@Override
public void run() {
while (true) {
try {
SalesLog salesLog = SalesLogQueue.getInstance().poll();
if(salesLog!=null){
salesLogService.saveSalesLog(salesLog);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
}參考博文如下,對(duì)BlockingQueue隊(duì)列更多了解,可讀一讀如下的博文:
詳細(xì)分析Java并發(fā)集合ArrayBlockingQueue的用法
詳解Java阻塞隊(duì)列(BlockingQueue)的實(shí)現(xiàn)原理
以上就是BlockingQueue隊(duì)列處理高并發(fā)下的日志的詳細(xì)內(nèi)容,更多關(guān)于BlockingQueue隊(duì)列處理高并發(fā)日志的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
JVM教程之Java代碼編譯和執(zhí)行的整個(gè)過程(二)
這篇文章主要介紹了JVM學(xué)習(xí)筆記第二篇,關(guān)于Java代碼編譯和執(zhí)行的整個(gè)過程,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-03-03
Java微信公眾平臺(tái)開發(fā)(7) 公眾平臺(tái)測(cè)試帳號(hào)的申請(qǐng)
這篇文章主要為大家詳細(xì)介紹了Java微信公眾平臺(tái)開發(fā)第七步,微信公眾平臺(tái)測(cè)試帳號(hào)的申請(qǐng),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-04-04
Java 遞歸查詢部門樹形結(jié)構(gòu)數(shù)據(jù)的實(shí)踐
本文主要介紹了Java 遞歸查詢部門樹形結(jié)構(gòu)數(shù)據(jù)的實(shí)踐,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-09-09
dubbo新手學(xué)習(xí)之事件通知實(shí)踐教程
這篇文章主要給大家介紹了關(guān)于dubbo新手學(xué)習(xí)之事件通知實(shí)踐的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
SpringBoot @Scope與@RefreshScope注解使用詳解
spring的bean管理中,每個(gè)bean都有對(duì)應(yīng)的scope。在BeanDefinition中就已經(jīng)指定scope,默認(rèn)的RootBeanDefinition的scope是prototype類型,使用@ComponentScan掃描出的BeanDefinition會(huì)指定是singleton,最常使用的也是singleton2022-11-11
java獲取兩個(gè)數(shù)組中不同數(shù)據(jù)的方法
這篇文章主要介紹了java獲取兩個(gè)數(shù)組中不同數(shù)據(jù)的方法,實(shí)例分析了java操作數(shù)組的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-03-03
Java利用Socket類實(shí)現(xiàn)TCP通信程序
TCP通信能實(shí)現(xiàn)兩臺(tái)計(jì)算機(jī)之間的數(shù)據(jù)交互,通信的兩端,要嚴(yán)格區(qū)分為客戶端與服務(wù)端,下面我們就來看看Java如何利用Socket類實(shí)現(xiàn)TCP通信程序吧2024-02-02
Java基礎(chǔ)教程之類數(shù)據(jù)與類方法
這篇文章主要介紹了Java基礎(chǔ)教程之類數(shù)據(jù)與類方法,本文是對(duì)類的深入探討,類數(shù)據(jù)指類的一些屬性、參數(shù)等,類方法就是類包含的功能方法,需要的朋友可以參考下2014-08-08
springboot返回圖片流的實(shí)現(xiàn)示例
本文主要介紹了springboot返回圖片流的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08

