Go語言Goroutines?泄漏場景與防治解決分析
場景
Go 有很多自動管理內(nèi)存的功能。比如:
- 變量分配到堆內(nèi)存還是棧內(nèi)存,編譯器會通過逃逸分析(escpage analysis)來判斷;
- 堆內(nèi)存的垃圾自動回收。
即便如此,如果編碼不謹慎,我們還是有可能導(dǎo)致內(nèi)存泄漏的,最常見的是 goroutine 泄漏,比如下面的函數(shù):
func goroutinueLeak() {
ch := make(chan int)
go func(ch chan int) {
// 因為 ch 一直沒有數(shù)據(jù),所以這個協(xié)程會阻塞在這里。
val := <-ch
fmt.Println(val)
}(ch)
}
由于ch一直沒有發(fā)送數(shù)據(jù),所以我們開啟的 goroutine 會一直阻塞。每次調(diào)用goroutinueLeak都會泄漏一個goroutine,從監(jiān)控面板看到話,goroutinue 數(shù)量會逐步上升,直至服務(wù) OOM。
Goroutine 泄漏常見原因
channel 發(fā)送端導(dǎo)致阻塞
使用 context 設(shè)置超時是常見的一個場景,試想一下,下面的函數(shù)什么情況下會 goroutine 泄漏 ?
func contextLeak() error {
ctx, cancel := context.WithTimeout(context.Background(), 1*time.Minute)
defer cancel()
ch := make(chan int)
//g1
go func() {
// 獲取數(shù)據(jù),比如網(wǎng)絡(luò)請求,可能時間很久
val := RetriveData()
ch <- val
}()
select {
case <-ctx.Done():
return errors.New("timeout")
case val := <-ch:
fmt.Println(val)
}
return nil
}
RetriveData() 如果超時了,那么contextLeak() 會返回 error,本函數(shù)執(zhí)行結(jié)束。而我們開啟的協(xié)程g1,由于沒有接受者,會阻塞在 ch<-val。
解決方法也能簡單,比如可以給ch加上緩存。
channel 接收端導(dǎo)致阻塞
開篇給出的函數(shù)goroutinueLeak,就是因為channel的接收端收不到數(shù)據(jù),導(dǎo)致阻塞。
這里舉出另一個例子,下面的函數(shù),是否有可能 goroutinue 泄漏?
func errorAssertionLeak() {
ch := make(chan int)
// g1
go func() {
val := <-ch
fmt.Println(val)
}()
// RetriveSomeData 表示獲取數(shù)據(jù),比如從網(wǎng)絡(luò)上
val, err := RetriveSomeData()
if err != nil {
return
}
ch <- val
return nil
}
如果 RetriveSomeData() 返回的err 不為 nil,那么本函數(shù)中斷,也就不會有數(shù)據(jù)發(fā)送給ch,這導(dǎo)致協(xié)程g1會一直阻塞。
如何預(yù)防
goroutine 泄漏往往需要服務(wù)運行一段時間后,才會被發(fā)覺。
我們可以通過監(jiān)控 goroutine 數(shù)量來判斷是否有 goroutine 泄漏;或者用 pprof(之前文章介紹過的) 來定位泄漏的 goroutine。但這些已經(jīng)是亡羊補牢了。最理想的情況是,我們在開發(fā)的過程中,就能發(fā)現(xiàn)。
本文推薦的做法是,使用單元測試。以開篇的 goroutinueLeak 為例子,我們寫個單測:
func TestLeak(t *testing.T) {
goroutinueLeak()
}
執(zhí)行 go test,發(fā)現(xiàn)測試是通過的:
=== RUN TestLeak
--- PASS: TestLeak (0.00s)
PASS
ok example/leak 0.598s
這是是因為單測默認不會檢測 goroutine 泄漏的。
我們可以在單測中,加入Uber 團隊提供的 uber-go/goleak 包:
import (
"testing"
"go.uber.org/goleak"
)
func TestLeak(t *testing.T) {
// 加上這行代碼,就會自動檢測是否 goroutine 泄漏
defer goleak.VerifyNone(t)
goroutinueLeak()
}
這時候執(zhí)行 go test,輸出:
=== RUN TestLeak
/xxx/leak_test.go:12: found unexpected goroutines:
[Goroutine 21 in state chan receive, with example/leak.goroutinueLeak.func1 on top of the stack:
goroutine 21 [chan receive]:
example/leak.goroutinueLeak.func1(0x0)
/xxx/leak.go:9 +0x27
created by example/leak.goroutinueLeak
/xxx/leak.go:8 +0x7a
]
--- FAIL: TestLeak (0.46s)
FAIL
FAIL example/leak 0.784s
這時候單測會因為 goroutine 泄漏而不通過。
如果你覺得每個測試用例都要加上 defer goleak.VerifyNone(t) 太繁瑣的話(特別是在已有的項目中加上),goleak 提供了在 TestMain 中使用的方法VerifyTestMain,上面的單測可以修改成:
func TestLeak(t *testing.T) {
goroutinueLeak()
}
func TestMain(m *testing.M) {
goleak.VerifyTestMain(m)
}
總結(jié)
雖然我的文章經(jīng)常提及單測,但我本人不是單元測試的忠實粉絲。扎實的基礎(chǔ),充分的測試,負責任的態(tài)度也是非常重要的。
引用
以上就是Go語言Goroutines 泄漏場景與防治解決分析的詳細內(nèi)容,更多關(guān)于Go Goroutines 泄漏防治的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Golang中時間戳與時區(qū)轉(zhuǎn)換的方法詳解
時間是我們生活的基石,而在計算機科學中,時間處理顯得尤為重要,尤其是當你在處理分布式系統(tǒng)、跨時區(qū)應(yīng)用和全球服務(wù)時,時間和時區(qū)的管理變得不可或缺,在這篇文章中,我們將深入探討Golang中的時間戳與時區(qū)轉(zhuǎn)換,需要的朋友可以參考下2024-06-06
go語言開發(fā)環(huán)境配置(sublime text3+gosublime)
網(wǎng)上google了下go的開發(fā)工具,大都推薦sublime text3+gosublime,本文就介紹了go語言開發(fā)環(huán)境配置(sublime text3+gosublime),具有一定的參考價值,感興趣的可以了解一下2022-01-01
go使用makefile腳本編譯應(yīng)用的方法小結(jié)
makefile可以看作是make工具的腳本文件, 而make主要用來處理一系列命令。常用的比如用來編譯和打包文件, 在C/C++的編譯打包中應(yīng)用最廣泛了,這篇文章主要介紹了go使用makefile腳本編譯應(yīng)用,需要的朋友可以參考下2022-08-08

