Java servlet通過事件驅(qū)動進(jìn)行高性能長輪詢詳解

更新時間：2022年06月16日 09:39:23 作者：hi wei

這篇文章主要介紹了基于servlet3.0+事件驅(qū)動實現(xiàn)高性能長輪詢的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

servlet3.0的異步原理

servlet基礎(chǔ)就不做介紹了，這里就介紹servlet3.0的一個重要的新特性：異步。

servlet3.0原理圖：

tomcat接收到客戶端的請求后會將請求AsyncContext交給業(yè)務(wù)線程，這樣tomcat工作線程就能釋放出來處理其它請求的連接。
業(yè)務(wù)線程池接收到AsyncContext后，就可以處理請求業(yè)務(wù)，完成業(yè)務(wù)邏輯后，根據(jù)AsyncContext獲取response，返回響應(yīng)結(jié)果。
AsyncListener會監(jiān)聽AsyncContext的行為，我們可以根據(jù)具體的行為做出對應(yīng)的業(yè)務(wù)處理。

servlet3.0將tomcat工作線程和業(yè)務(wù)線程分隔開來，這樣tomcat工作線程就能處理更多的連接請求。業(yè)務(wù)線程主要處理業(yè)務(wù)邏輯。在這種模式下，可以更好的分配業(yè)務(wù)線程的數(shù)量，也能根據(jù)不同的業(yè)務(wù)，設(shè)置不同的線程數(shù)量，更加靈活。

注意：tomcat的NIO和servlet3.0的異步?jīng)]有關(guān)系。tomcat NIO模式，是對于http連接的處理使用，目的是用更少的線程處理更多的連接。servlet3.0是在tomcat工作線程的處理邏輯上實現(xiàn)異步處理功能。

使用servlet3.0實現(xiàn)長輪詢

什么是長輪詢：

長輪詢是指客戶端會一直向服務(wù)端發(fā)起請求，適用與服務(wù)端向客戶端推送數(shù)據(jù)使用。長輪詢要滿足以下幾點：客戶端發(fā)起請求后，當(dāng)服務(wù)端業(yè)務(wù)沒有數(shù)據(jù)時，不會立即返回空值，而是hold住連接，等待數(shù)據(jù)生成后立即返回。
請求在服務(wù)端有超時時間，不會一直hold住。當(dāng)超時后，服務(wù)端會返回超時信息，客戶端收到返回后會再次發(fā)起請求。
每次請求結(jié)束后，客戶端會再次發(fā)起請求。

短輪詢、長輪詢和長連接比較：

短輪詢：客戶端定時向服務(wù)器發(fā)送Ajax請求，服務(wù)器接到請求后馬上返回響應(yīng)信息并關(guān)閉連接。

優(yōu)點：后端程序編寫比較容易，適于小型應(yīng)用。。

缺點：請求中有大半是無用，浪費帶寬和服務(wù)器資源。

長輪詢：客戶端向服務(wù)器發(fā)送Ajax請求，服務(wù)器接到請求后hold住連接，直到有新消息才返回響應(yīng)信息并關(guān)閉連接，客戶端處理完響應(yīng)信息后再向服務(wù)器發(fā)送新的請求。

優(yōu)點：在無消息的情況下不會頻繁的請求。

缺點：服務(wù)器hold連接會消耗資源。

長連接：客戶端與服務(wù)端建立長連接socket

優(yōu)點：可靠性高，實時性高。

缺點：實現(xiàn)復(fù)雜，要維護(hù)心跳，服務(wù)器維持連接消耗資源。

長輪詢實現(xiàn)

原理圖：

請求過來之后，生成事件，加入對應(yīng)的事件集合。請求設(shè)置30s超時時間，并添加監(jiān)聽。tomcat工作線程釋放。
當(dāng)服務(wù)端數(shù)據(jù)準(zhǔn)備好之后，觸發(fā)對應(yīng)事件，從容器獲取訂閱事件進(jìn)行執(zhí)行。完成后返回response。
請求超時，listener觸發(fā)，返回超時信息。

下面看下具體實現(xiàn)：

事件定義，這里只是定義一個簡單的事件：

package com.hiwe.demo.event;
import javax.servlet.AsyncContext;
public class HttpEvent {
    /**
     * 可以是業(yè)務(wù)數(shù)據(jù)主鍵，這里用請求名稱做個簡單demo
     */
    private String requestName;
    private AsyncContext asyncContext;
    public HttpEvent(String requestName,AsyncContext asyncContext){
        this.requestName = requestName;
        this.asyncContext = asyncContext;
    }
    public String getRequestName() {
        return requestName;
    }
    public AsyncContext getAsyncContext() {
        return asyncContext;
    }
}

事件管理器：

package com.hiwe.demo.event;
import javax.servlet.AsyncContext;
import java.io.IOException;
import java.io.PrintWriter;
import java.util.HashMap;
import java.util.Map;
public class EventManager {
    private final static Map<String,HttpEvent> subHttpEvents = new HashMap<>();
    /**
     * 新增事件訂閱
     * @param event
     */
    public static void addHttpEvent(HttpEvent event){
        subHttpEvents.put(event.getRequestName(),event);
    }
    /**
     * 觸發(fā)事件
     * @param requestName
     */
    public static void onEvent(String requestName){
        HttpEvent httpEvent = subHttpEvents.get(requestName);
        if(httpEvent==null){
            return;
        }
        AsyncContext asyncContext = httpEvent.getAsyncContext();
        try {
            PrintWriter writer = asyncContext.getResponse().getWriter();
            writer.print(requestName+" request success!");
            writer.flush();
            asyncContext.complete();
            subHttpEvents.remove(requestName);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

異步請求監(jiān)聽器：

package com.hiwe.demo.listener;
import javax.servlet.AsyncContext;
import javax.servlet.AsyncEvent;
import javax.servlet.AsyncListener;
import javax.servlet.ServletResponse;
import javax.servlet.annotation.WebListener;
import java.io.IOException;
import java.io.PrintWriter;
@WebListener
public class AppAsyncListener implements AsyncListener {
    @Override
    public void onComplete(AsyncEvent asyncEvent) throws IOException {
        System.out.println("AppAsyncListener onComplete");
        // we can do resource cleanup activity here
    }
    @Override
    public void onError(AsyncEvent asyncEvent) throws IOException {
        System.out.println("AppAsyncListener onError");
        //we can return error response to client
    }
    @Override
    public void onStartAsync(AsyncEvent asyncEvent) throws IOException {
        System.out.println("AppAsyncListener onStartAsync");
        //we can log the event here
    }
    /**
     * 超時觸發(fā)
     * @param asyncEvent
     * @throws IOException
     */
    @Override
    public void onTimeout(AsyncEvent asyncEvent) throws IOException {
        AsyncContext asyncContext = asyncEvent.getAsyncContext();
        ServletResponse response = asyncEvent.getAsyncContext().getResponse();
        PrintWriter out = response.getWriter();
        //返回code碼，以便前端識別，并重建請求
        out.write(201+" longPolling timeout");
        out.flush();
        asyncContext.complete();
    }
}

長輪詢接口：

package com.hiwe.demo.controller;
import com.hiwe.demo.listener.AppAsyncListener;
import com.hiwe.demo.event.EventManager;
import com.hiwe.demo.event.HttpEvent;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import javax.servlet.AsyncContext;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
@RestController
@RequestMapping("/app")
public class AsyncController {
    /**
     * 長輪詢接口
     * @param requestName
     * @param request
     * @param response
     */
    @GetMapping("/asyncGet")
    public void getDemo(@RequestParam(value = "requestName") String requestName, HttpServletRequest request, HttpServletResponse response){
        //開啟異步支持
        request.setAttribute("org.apache.catalina.ASYNC_SUPPORTED", true);
        AsyncContext asyncContext = request.startAsync();
        //添加監(jiān)聽器
        asyncContext.addListener(new AppAsyncListener());
        //設(shè)置超時時間
        asyncContext.setTimeout(30000);
        //添加到事件集合中去
        HttpEvent httpEvent = new HttpEvent(requestName, asyncContext);
        EventManager.addHttpEvent(httpEvent);
    }
    /**
     * 觸發(fā)事件使用
     * @param requestName
     */
    @GetMapping("/trigger")
    public void triggerDemo(@RequestParam(value = "requestName") String requestName){
        EventManager.onEvent(requestName);
    }
}

以上一個簡單的長輪詢就實現(xiàn)了，我們可以進(jìn)行一下測試：

啟動應(yīng)用后訪問：http://localhost:8080/app/asyncGet?requestName=123

服務(wù)端因為數(shù)據(jù)未準(zhǔn)備就緒，所以會hold住請求。當(dāng)?shù)却?0s后會返回超時信息：