Golang使用協(xié)程實(shí)現(xiàn)批量獲取數(shù)據(jù)

更新時(shí)間：2023年02月07日 10:45:28 作者：快樂(lè)的提千萬(wàn)

服務(wù)端經(jīng)常需要返回一個(gè)列表，里面包含很多用戶數(shù)據(jù)，常規(guī)做法當(dāng)然是遍歷然后讀緩存。使用Go語(yǔ)言后，可以并發(fā)獲取，極大提升效率，本文就來(lái)聊聊具體的實(shí)現(xiàn)方法，希望對(duì)大家有所幫助

使用channel

package main

import (
   "fmt"
   "time"
)

func add2(a, b int, ch chan int) {
   c := a + b
   fmt.Printf("%d + %d = %d\n", a, b, c)
   ch <- 1 //執(zhí)行完了就寫一條表示自己完成了
}

func main() {
   start := time.Now()
   chs := make([]chan int, 10)
   for i := 0; i < 10; i++ {
      chs[i] = make(chan int)
      go add2(1, i, chs[i]) //分配了10個(gè)協(xié)程出去了
   }
   for _, ch := range chs {
      <-ch //循環(huán)等待，要每個(gè)完成才能繼續(xù)，不然就等待
   }
   end := time.Now()
   consume := end.Sub(start).Seconds()
   fmt.Println("程序執(zhí)行耗時(shí)(s)：", consume)
}

在每個(gè)協(xié)程的 add() 函數(shù)業(yè)務(wù)邏輯完成后，我們通過(guò) ch <- 1 語(yǔ)句向?qū)?yīng)的通道中發(fā)送一個(gè)數(shù)據(jù)。

在所有的協(xié)程啟動(dòng)完成后，我們?cè)偻ㄟ^(guò) <-ch 語(yǔ)句從通道切片 chs 中依次接收數(shù)據(jù)（不對(duì)結(jié)果做任何處理，相當(dāng)于寫入通道的數(shù)據(jù)只是個(gè)標(biāo)識(shí)而已，表示這個(gè)通道所屬的協(xié)程邏輯執(zhí)行完畢）.

直到所有通道數(shù)據(jù)接收完畢，然后打印主程序耗時(shí)并退出。

使用WaitGroup

Add：WaitGroup 類型有一個(gè)計(jì)數(shù)器，默認(rèn)值是0，我們可以通過(guò) Add 方法來(lái)增加這個(gè)計(jì)數(shù)器的值，通常我們可以通過(guò)個(gè)方法來(lái)標(biāo)記需要等待的子協(xié)程數(shù)量；
Done：當(dāng)某個(gè)子協(xié)程執(zhí)行完畢后，可以通過(guò) Done 方法標(biāo)記已完成，該方法會(huì)將所屬 WaitGroup 類型實(shí)例計(jì)數(shù)器值減一，通?？梢酝ㄟ^(guò) defer 語(yǔ)句來(lái)調(diào)用它；
Wait：Wait 方法的作用是阻塞當(dāng)前協(xié)程，直到對(duì)應(yīng) WaitGroup 類型實(shí)例的計(jì)數(shù)器值歸零，如果在該方法被調(diào)用的時(shí)候，對(duì)應(yīng)計(jì)數(shù)器的值已經(jīng)是 0，那么它將不會(huì)做任何事情

package main

import (
   "fmt"
   "sync"
)

func addNum(a, b int, deferFunc func()) {
   defer func() {
      deferFunc()
   }()
   c := a + b
   fmt.Printf("%d + %d = %d\n", a, b, c)
}

func main() {
   var wg sync.WaitGroup
   wg.Add(10) //等于發(fā)了10個(gè)令牌
   for i := 0; i < 10; i++ {
      go addNum(i, 1, wg.Done) //每次執(zhí)行都消耗令牌
   }
   wg.Wait() //等待令牌消耗完
}

需要注意的是，該類型計(jì)數(shù)器不能小于0，否則會(huì)拋出如下 panic：

panic: sync: negative WaitGroup counter

應(yīng)用到實(shí)踐

func GetManyBase(userIds []int64) []UserBase {
   userCaches := make([]UserBase, len(userIds))

   var wg sync.WaitGroup
   for index, userId := range userIds {
      wg.Add(1)
      go func(index int, userId int64, userCaches []UserBase) {
         userCaches[index] = NewUserCache(userId).GetBase() 
         wg.Done()
      }(index, userId, userCaches)
   }
   wg.Wait()

   return userCaches
}

這種寫法有兩個(gè)問(wèn)題：

1.并發(fā)肯定帶來(lái)亂序，所以要考慮需要排序的業(yè)務(wù)場(chǎng)景。

2.map是線程不安全的，并發(fā)讀寫會(huì)panic。

優(yōu)化一下：

func GetManyBase(userIds []int64) []UserBase {
	userCaches := make([]UserBase, len(userIds))

	var scene sync.Map

	var wg sync.WaitGroup
	for index, userId := range userIds {
		wg.Add(1)
		go func(index int, userId int64, userCaches []UserBase) {
			scene.Store(userId, NewUserCache(userId).GetBase())
			wg.Done()
		}(index, userId, userCaches)
	}
	wg.Wait()

	i := 0
	for _, userId := range userIds {
		if value, ok := scene.Load(userId); ok {
			userCaches[i] = value.(UserBase)
		}
		i++
	}

	return userCaches
}

為什么不直接上鎖？

因?yàn)榻?jīng)過(guò)我的測(cè)試，會(huì)很慢，沒(méi)有sync.Map優(yōu)化的好。
這樣可以保證順序。

到此這篇關(guān)于Golang使用協(xié)程實(shí)現(xiàn)批量獲取數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Golang協(xié)程批量獲取數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: