一文帶你搞懂go中的請(qǐng)求超時(shí)控制
一、為什么需要超時(shí)控制
在日常開(kāi)發(fā)中,對(duì)于RPC、HTTP調(diào)用設(shè)置超時(shí)時(shí)間是非常重要的。那為什么需要超時(shí)控制呢?我們可以從用戶、系統(tǒng)兩個(gè)角度進(jìn)行考慮;
- 用戶角度:在這個(gè)快節(jié)奏的時(shí)代,如果一個(gè)接口耗時(shí)太長(zhǎng),用戶可能已經(jīng)離開(kāi)頁(yè)面了。這種請(qǐng)求下,后續(xù)的計(jì)算任務(wù)就沒(méi)用了。比如說(shuō),最近的AIGC,我們有個(gè)需求需要用到微軟的ChatGPT,這類接口有個(gè)特點(diǎn),耗時(shí)不受控制,可能30s,可能1min,我們和產(chǎn)品討論以后,這個(gè)接口最后的超時(shí)時(shí)間設(shè)置為9s。(說(shuō)實(shí)在,有點(diǎn)短,很多超時(shí)的情況)
- 系統(tǒng)角度:因?yàn)镠TTP、RPC請(qǐng)求均會(huì)占用資源,比如鏈接數(shù)、計(jì)算資源等等,盡快返回,可能防止資源被耗盡的請(qǐng)求;
現(xiàn)在,我們知道要設(shè)置超時(shí)時(shí)間了,那就有個(gè)問(wèn)題,超時(shí)時(shí)間設(shè)置為多少呢?設(shè)置太小,可能會(huì)出現(xiàn)大面積超時(shí)的情況,不符合業(yè)務(wù)需求。設(shè)置太長(zhǎng),可能會(huì)有以上兩個(gè)缺點(diǎn)。
二、超時(shí)時(shí)間設(shè)置為多少
超時(shí)時(shí)間的設(shè)置可以從這四個(gè)角度考慮:
- 問(wèn)產(chǎn)品;產(chǎn)品從業(yè)務(wù)、用戶的角度,行為考慮,這個(gè)頁(yè)面他們能夠接受的時(shí)間是多少。
- 看歷史數(shù)據(jù);我們可以看這個(gè)接口歷史數(shù)據(jù)的99線,也就是99%的接口耗時(shí)是多少。
- 壓測(cè);如果這是個(gè)新接口,沒(méi)有歷史數(shù)據(jù)可查,那么我們可以考慮進(jìn)行壓測(cè),觀察99%接口耗時(shí)是多少;
- 計(jì)算代碼邏輯;通過(guò)巴拉代碼,看有多少次MySQL、redis查找與插入;
上面四個(gè)方法,只要有一個(gè)湊效就行,但是,我們要秉承數(shù)據(jù)來(lái)源要有依據(jù)這條原則,優(yōu)先考慮歷史數(shù)據(jù)、壓測(cè),其次結(jié)合業(yè)務(wù)需求,決定是否需要優(yōu)化代碼等等。
三、超時(shí)控制的種類
在微服務(wù)框架中,我們一個(gè)請(qǐng)求可能需要經(jīng)歷多個(gè)服務(wù),那么在生產(chǎn)環(huán)境下,咱們應(yīng)該得兩手抓:
- 鏈路超時(shí):也就是在服務(wù)進(jìn)入gate-api的時(shí)候,應(yīng)該設(shè)置一個(gè)鏈路時(shí)間。(我們服務(wù)設(shè)置的是10s)
- 服務(wù)時(shí)間:每個(gè)微服務(wù)請(qǐng)求其他服務(wù)的超時(shí)時(shí)間。(我們?cè)O(shè)置的是3s)

【注:我們公司大概是這樣的】
上面,服務(wù)時(shí)間的控制里頭,有包含兩方面,客戶端超時(shí)控制與服務(wù)端超時(shí)控制,我們通過(guò)一個(gè)例子來(lái)表述這兩者之間的差異。如果A服務(wù)請(qǐng)求B服務(wù),這個(gè)請(qǐng)求設(shè)置的超時(shí)時(shí)間為3s,但是B服務(wù)處理數(shù)據(jù)的需要話費(fèi)兩分鐘,那么:
- 對(duì)于A客戶端,rpc框架大部分都設(shè)置了客戶端超時(shí)時(shí)間,3s就會(huì)返回了。
- 對(duì)于B服務(wù)端,當(dāng)客戶端3s超時(shí)了,那是否還需要執(zhí)行兩分鐘呢?這個(gè)一般都會(huì)繼續(xù)執(zhí)行了(我們公司就會(huì)執(zhí)行),如果你在代碼里頭有明確的校驗(yàn)超時(shí)時(shí)間,也能做到只執(zhí)行3s的。
接下來(lái),我們來(lái)看幾個(gè)例子。
四、Golang超時(shí)控制實(shí)操
案例一
func hardWork(job interface{}) error {
time.Sleep(time.Minute)
return nil
}
func requestWorkV1(ctx context.Context, job interface{}) error {
ctx, cancel := context.WithTimeout(ctx, time.Second*2)
defer cancel()
// 僅需要改這里即可
// done := make(chan error, 1)
done := make(chan error)
// done 退出以后,沒(méi)有接受者,會(huì)導(dǎo)致協(xié)程阻塞
go func() {
done <- hardWork(job)
}()
select {
case err := <-done:
return err
case <-ctx.Done(): // 這一部分提前退出
return ctx.Err()
}
}
// 可以做到超時(shí)控制,但是會(huì)出現(xiàn)協(xié)程泄露的情況
func TestV1(t *testing.T) {
const total = 1000
var wg sync.WaitGroup
wg.Add(total)
now := time.Now()
for i := 0; i < total; i++ {
go func() {
defer wg.Done()
requestWorkV1(context.Background(), "any")
}()
}
wg.Wait()
fmt.Println("elapsed:", time.Since(now)) // 2秒后打印這條語(yǔ)句,說(shuō)明協(xié)程只執(zhí)行了兩秒
time.Sleep(time.Minute * 2)
fmt.Println("number of goroutines:", runtime.NumGoroutine()) // number of goroutines: 1002
}
執(zhí)行上述代碼:我們會(huì)發(fā)現(xiàn)協(xié)程執(zhí)行2秒就退出了 【滿足我們超時(shí)控制需求】 ,但是第2個(gè)打印語(yǔ)句顯示協(xié)程泄漏了,當(dāng)前有1002個(gè)協(xié)程;
原因:select中的協(xié)程提前退出,從而導(dǎo)致無(wú)緩存chan沒(méi)有接受者,從而導(dǎo)致協(xié)程泄漏。只需要將無(wú)緩存chan改為有緩存chan即可。
五、GRPC中如何做超時(shí)控制
接著,我們?cè)诳纯丛贕RPC中,我們?nèi)绾巫龀瑫r(shí)控制。
首先,我們看下這個(gè)小Demo的目錄結(jié)構(gòu):
.
├── client_test.go
├── proto
│ ├── hello.pb.go
│ ├── hello.proto
│ └── hello_grpc.pb.go
└── server_test.go
定義接口IDL文件
syntax = "proto3";
package helloworld;
option go_package = ".";
service Greeter {
rpc SayHello (HelloRequest) returns (HelloReply);
}
message HelloRequest {
string name = 1;
}
message HelloReply {
string message = 1;
}
執(zhí)行protoc工具
hello git:(master) ? protoc -I proto/ proto/hello.proto --go_out=./proto --go-grpc_out=./proto
寫(xiě)client代碼
const (
address = "localhost:50051"
defaultName = "world"
)
func TestClient(t *testing.T) {
conn, err := grpc.Dial(address, grpc.WithInsecure())
if err != nil {
log.Fatalf("did not connect: %v", err)
}
defer conn.Close()
c := pb.NewGreeterClient(conn)
name := defaultName
ctx, cancel := context.WithTimeout(context.Background(), 2*time.Second)
defer cancel()
r, err := c.SayHello(ctx, &pb.HelloRequest{Name: name})
if err != nil {
log.Fatalf("could not greet: %v", err)
}
log.Printf("Greeting: %s", r.Message)
}
在客戶端代碼中,我們只需要設(shè)置ctx即可。grpc客戶端框架就會(huì)幫我們監(jiān)控ctx,只要超時(shí)了就會(huì)返回。
寫(xiě)server代碼
func (s *server) SayHello(ctx context.Context, request *pb.HelloRequest) (*pb.HelloReply, error) {
logrus.Info("request in")
time.Sleep(5 * time.Second)
//select {
//case <-ctx.Done():
// fmt.Println("time out Done")
//}
logrus.Info("requst out")
if ctx.Err() == context.DeadlineExceeded {
log.Printf("RPC has reached deadline exceeded state: %s", ctx.Err())
return nil, ctx.Err()
}
return &pb.HelloReply{Message: "Hello, " + request.Name}, nil
}
func TestServer(t *testing.T) {
lis, err := net.Listen("tcp", ":50051")
if err != nil {
log.Fatalf("Failed to listen: %v", err)
}
s := grpc.NewServer()
pb.RegisterGreeterServer(s, &server{})
if err := s.Serve(lis); err != nil {
log.Fatalf("Failed to serve: %v", err)
}
}
服務(wù)端,grpc框架就沒(méi)有替我們監(jiān)控了,需要我們自己寫(xiě)邏輯,上述代碼可以通過(guò)注釋不同部分,驗(yàn)證以下幾點(diǎn):
- grpc框架沒(méi)有替我們監(jiān)控
ctx,需要我們自己監(jiān)控; - 通過(guò)
select監(jiān)控ctx; - 通過(guò)
context.DeadlineExceeded來(lái)監(jiān)控ctx,從而提前返回;
六、GRPC框架如何監(jiān)控超時(shí)的呢
代碼在grpc/stream.go文件:
func newClientStreamWithParams(ctx context.Context, desc *StreamDesc, cc *ClientConn, method string, mc serviceconfig.MethodConfig, onCommit, doneFunc func(), opts ...CallOption) (_ iresolver.ClientStream, err error) {
// .....
if desc != unaryStreamDesc {
// Listen on cc and stream contexts to cleanup when the user closes the
// ClientConn or cancels the stream context. In all other cases, an error
// should already be injected into the recv buffer by the transport, which
// the client will eventually receive, and then we will cancel the stream's
// context in clientStream.finish.
go func() {
select {
case <-cc.ctx.Done():
cs.finish(ErrClientConnClosing)
case <-ctx.Done():
cs.finish(toRPCErr(ctx.Err()))
}
}()
}
}
可以看到,在newClientStreamWithParams中,GRPC替我們起了一個(gè)協(xié)程,監(jiān)控ctx.Done。
以上就是一文帶你搞懂go中的請(qǐng)求超時(shí)控制的詳細(xì)內(nèi)容,更多關(guān)于go請(qǐng)求超時(shí)控制的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
pytorch中的transforms.ToTensor和transforms.Normalize的實(shí)現(xiàn)
本文主要介紹了pytorch中的transforms.ToTensor和transforms.Normalize的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-04-04
Go中regexp包常見(jiàn)的正則表達(dá)式操作
本文主要介紹了Go中regexp包常見(jiàn)的正則表達(dá)式操作,包括匹配、查找、替換和分割字符串等,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2025-02-02
GoLang實(shí)現(xiàn)Viper庫(kù)的封裝流程詳解
Viper是一個(gè)用于Go語(yǔ)言應(yīng)用程序的配置管理庫(kù),它提供了一種簡(jiǎn)單而靈活的方式來(lái)處理應(yīng)用程序的配置,支持多種格式的配置文件,這篇文章主要介紹了GoLang封裝Viper庫(kù)的流程,感興趣的同學(xué)可以參考下文2023-05-05
vscode 通過(guò)Go:Install/Update Tools命令安裝失敗的問(wèn)題解決
本文介紹了在VSCode開(kāi)發(fā)環(huán)境中通過(guò)Go:Install/UpdateTools命令安裝工具時(shí)遇到網(wǎng)絡(luò)問(wèn)題的解決方法,具有一定的參考價(jià)值,感興趣的可以了解一下2024-12-12
Go語(yǔ)言執(zhí)行cmd命令庫(kù)的方法實(shí)現(xiàn)
go語(yǔ)言用來(lái)執(zhí)行一個(gè)系統(tǒng)的命令相對(duì)python來(lái)說(shuō)還是有點(diǎn)復(fù)雜的,執(zhí)行命令是一個(gè)非常常見(jiàn)的需求,本文主要介紹了Go語(yǔ)言執(zhí)行cmd命令庫(kù)的方法實(shí)現(xiàn),感興趣的可以了解一下2023-09-09
go如何利用orm簡(jiǎn)單實(shí)現(xiàn)接口分布式鎖
本篇文章主要介紹了go如何利用orm簡(jiǎn)單實(shí)現(xiàn)接口分布式鎖,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-07-07
Go?gRPC進(jìn)階教程服務(wù)超時(shí)設(shè)置
這篇文章主要為大家介紹了Go?gRPC進(jìn)階,gRPC請(qǐng)求的超時(shí)時(shí)間設(shè)置,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-06-06

