go?doudou開發(fā)gRPC服務快速上手實現(xiàn)詳解
引言
go-doudou從v2版本開始已經(jīng)支持開發(fā)gRPC服務。開發(fā)流程跟v1版本是一致的,都是先在svc.go文件里的interface里定義方法,然后執(zhí)行g(shù)o-doudou代碼生成命令生成代碼,最后你再寫自定義業(yè)務邏輯實現(xiàn)接口。go-doudou的學習曲線非常平滑,對新手極其友好,特別是具有其他編程語言開發(fā)背景的開發(fā)者,比如從Java、Nodejs或是Python轉(zhuǎn)過來的。go-doudou非常易學,但是卻能帶來極高的生產(chǎn)力。
本文中我將通過一個小demo來向各位同學展示開發(fā)流程是什么樣的,同時也提供了一些最佳實踐。我們將采用go-doudou開發(fā)一個通過最大余額法算法解決計算占比不等于100%的問題的gRPC服務,然后通過測試看一下效果。
完整代碼托管在github:github.com/unionj-clou…
準備
安裝go
go-doudou僅支持go 1.16及以上版本。
安裝gRPC編譯器和插件
安裝編譯器protoc
安裝Protobuf編譯器protoc,可參考官方文檔,這里貼一下常見操作系統(tǒng)下的安裝命令:
- Ubuntu系統(tǒng):
$ apt install -y protobuf-compiler $ protoc --version # 確保安裝v3及以上版本
Mac系統(tǒng),需要先安裝Homebrew:
$ brew install protobuf $ protoc --version # 確保安裝v3及以上版本
Windows系統(tǒng),或者Mac系統(tǒng)安裝Homebrew失敗,需從github下載安裝包,解壓后,自行配置環(huán)境變量。
安裝插件
- 安裝插件:
$ go install google.golang.org/protobuf/cmd/protoc-gen-go@v1.28 $ go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@v1.2
- 配置環(huán)境變量:
$ export PATH="$PATH:$(go env GOPATH)/bin"
最新版本號請?zhí)D(zhuǎn) grpc.io/docs/langua… 查找。
安裝go-doudou
- 如果Go版本低于1.17
go get -v github.com/unionj-cloud/go-doudou/v2@v2.0.3
- 如果Go版本 >= 1.17,推薦采用如下命令全局安裝
go-doudou命令行工具
go install -v github.com/unionj-cloud/go-doudou/v2@v2.0.3
推薦采用如下命令下載go-doudou作為項目的依賴
go get -v -d github.com/unionj-cloud/go-doudou/v2@v2.0.3
如果遇到410 Gone error報錯,請先執(zhí)行如下命令,再執(zhí)行上述的安裝命令
export GOSUMDB=off
安裝完成后,如果遇到go-doudou: command not found報錯,請將$HOME/go/bin配置到~/.bash_profile文件里,例如:
# .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:/usr/local/go/bin PATH=$PATH:$HOME/go/bin export PATH
我們可以執(zhí)行以下命令確認一下安裝是否成功:
? go-doudou -v go-doudou version v2.0.3
初始化項目
做完準備工作我們就可以開始coding了。首先我們需要初始化項目。
go-doudou svc init go-stats -m go-doudou-tutorials/go-stats
go-stats是項目的根路徑,go-doudou會逐層創(chuàng)建文件夾,底層類似執(zhí)行unix命令mkdir -p 。-m 可以設置模塊名,這里是go-doudou-tutorials/go-stats
go-doudou會生成以下的項目結(jié)構(gòu)。
? go-stats git:(master) ? tree -L 2
.
├── Dockerfile
├── go.mod
├── svc.go
└── vo
└── vo.go
1 directory, 4 files
svc.go文件里已經(jīng)聲明了一個接口,用于定義方法,go-doudou會通過這些方法提供的信息來生成proto文件里的rpc代碼。vo包是用來定義go語言結(jié)構(gòu)體的,go-doudou會掃描整個包里聲明的所有結(jié)構(gòu)體來生成proto文件里的message代碼。
定義服務
下面我們來看一下svc.go文件。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
"context"
"go-doudou-tutorials/go-stats/vo"
)
//go:generate go-doudou svc http -c
//go:generate go-doudou svc grpc
type GoStats interface {
// You can define your service methods as your need. Below is an example.
// You can also add annotations here like @role(admin) to add meta data to routes for
// implementing your own middlewares
PageUsers(ctx context.Context, query vo.PageQuery) (data vo.PageRet, err error)
}
有兩個//go:generate 指令,12行和13行分別是用來生成RESTful和gRPC服務代碼的,主要是為了方便執(zhí)行代碼生成命令。如果你用goland的話,你可以像下面的截圖所示那樣操作界面執(zhí)行命令。

PageUsers是一個示例,我們刪掉它寫上我們的方法。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
"context"
"go-doudou-tutorials/go-stats/vo"
)
//go:generate go-doudou svc http -c
//go:generate go-doudou svc grpc
// GoStats is a demo gRPC service developed by go-doudou
type GoStats interface {
// LargestRemainder implements Largest Remainder Method https://en.wikipedia.org/wiki/Largest_remainder_method
LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error)
}
我們還需要在vo包里聲明PercentageReqVo和PercentageRespVo這兩個vo結(jié)構(gòu)體。需要注意的是,GoStats接口的方法里出現(xiàn)的結(jié)構(gòu)體類型參數(shù)必須聲明在vo包里,否則go-doudou獲取不到字段信息,就無法在proto文件里生成對應的message。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package vo
//go:generate go-doudou name --file $GOFILE
// request vo
type PercentageReqVo struct {
// key value pairs
Data []PercentageVo `json:"data"`
// digit number after dot
Places int `json:"places"`
}
// key value pair
type PercentageVo struct {
// number for something
Value int `json:"value"`
// unique key for distinguishing something
Key string `json:"key"`
}
// result vo
type PercentageRespVo struct {
Value int `json:"value"`
Key string `json:"key"`
Percent float64 `json:"percent"`
// formatted percentage
PercentFormatted string `json:"percentFormatted"`
}
第7行的go-doudou name 命令是go-doudou內(nèi)置的一個小工具,可以一把生成或更新結(jié)構(gòu)體字段后面的json標簽,默認是首字母小寫的駝峰命名格式。
生成代碼
現(xiàn)在我們可以執(zhí)行go-doudou svc grpc 命令生成proto文件和gRPC相關的服務端、客戶端代碼了。執(zhí)行命令后的項目結(jié)構(gòu)如下所示:
? go-stats git:(master) ? tree -L 3 -a
.
├── .dockerignore
├── .env
├── .gitignore
├── Dockerfile
├── cmd
│ └── main.go
├── config
│ └── config.go
├── db
│ └── db.go
├── go.mod
├── svc.go
├── svcimpl.go
├── transport
│ └── grpc
│ ├── annotation.go
│ ├── gostats.pb.go
│ ├── gostats.proto
│ └── gostats_grpc.pb.go
└── vo
└── vo.go
13 directories, 16 files
go-doudou為我們生成了一些新的文件夾和文件。
.dockerignore : 用于打包docker鏡像的時候忽略**/*.local文件
.env : 配置文件
cmd : 里面有main.go文件
config : 用于將環(huán)境變量映射到config結(jié)構(gòu)體
db : 用于建立數(shù)據(jù)庫連接實例,我們這個demo用不到
svcimpl.go : 用于編寫自定義的業(yè)務邏輯,實現(xiàn)GoStats接口
transport : proto文件和gRPC相關的服務端、客戶端代碼在這里
在我們實現(xiàn)接口之前,需要執(zhí)行 go mod tidy 命令來下載依賴。然后我們啟動程序,先看一下是否一切正常。
? go-stats git:(master) ? go run cmd/main.go
2022/11/23 11:07:45 maxprocs: Leaving GOMAXPROCS=16: CPU quota undefined
_ _
| | | |
__ _ ___ ______ __| | ___ _ _ __| | ___ _ _
/ _` | / _ \ |______| / _` | / _ \ | | | | / _` | / _ \ | | | |
| (_| || (_) | | (_| || (_) || |_| || (_| || (_) || |_| |
__, | ___/ __,_| ___/ __,_| __,_| ___/ __,_|
__/ |
|___/
2022-11-23 11:07:45 INF ================ Registered Services ================
2022-11-23 11:07:45 INF +------------------------------------------+----------------------+
2022-11-23 11:07:45 INF | SERVICE | RPC |
2022-11-23 11:07:45 INF +------------------------------------------+----------------------+
2022-11-23 11:07:45 INF | grpc.reflection.v1alpha.ServerReflection | ServerReflectionInfo |
2022-11-23 11:07:45 INF | go_stats.GoStatsService | LargestRemainderRpc |
2022-11-23 11:07:45 INF +------------------------------------------+----------------------+
2022-11-23 11:07:45 INF ===================================================
2022-11-23 11:07:45 INF Grpc server is listening at [::]:50051
2022-11-23 11:07:45 INF Grpc server started in 1.110168ms
go-doudou依賴了 go.uber.org/automaxprocs 這個包來根據(jù)我們給容器做的資源限制來設置處理器P的數(shù)量,所以會有第2行的日志輸出。
我們再看一下transport/grpc/gostats.proto文件。
/**
* Generated by go-doudou v2.0.3.
* Don't edit!
*
* Version No.: v20221123
*/
syntax = "proto3";
package go_stats;
option go_package = "go-doudou-tutorials/go-stats/transport/grpc";
message LargestRemainderRpcResponse {
repeated PercentageRespVo data = 1 [json_name="data"];
}
// request vo
message PercentageReqVo {
// key value pairs
repeated PercentageVo data = 1 [json_name="data"];
// digit number after dot
int32 places = 2 [json_name="places"];
}
// result vo
message PercentageRespVo {
int32 value = 1 [json_name="value"];
string key = 2 [json_name="key"];
double percent = 3 [json_name="percent"];
// formatted percentage
string percentFormatted = 4 [json_name="percentFormatted"];
}
// key value pair
message PercentageVo {
// number for something
int32 value = 1 [json_name="value"];
// unique key for distinguishing something
string key = 2 [json_name="key"];
}
service GoStatsService {
// LargestRemainder implements Largest Remainder Method https://en.wikipedia.org/wiki/Largest_remainder_method
rpc LargestRemainderRpc(PercentageReqVo) returns (LargestRemainderRpcResponse);
}
如代碼所示,所有message里的字段名稱都是首字母小寫的駝峰命名。其實Protobuf官方給出的規(guī)范是下劃線分隔單詞的蛇形命名。因為我們vo包里的結(jié)構(gòu)體的字段的json標簽是首字母小寫的駝峰命名,所以我們這里為了保持一致,就沒有遵循規(guī)范。保持一致的作用是我們后面如果需要將protoc生成的結(jié)構(gòu)體轉(zhuǎn)成vo包里的結(jié)構(gòu)體的時候,可以直接用json序列化反序列化的方式做深拷貝,而無需手工一個個字段去賦值。如果你擔心這個辦法的性能開銷而選擇其他辦法的話,就無所謂了。
go-doudou在生成proto文件的時候會將方法出參中的除error類型之外的其他類型參數(shù)都封裝到一個單獨的message中,如這里的LargestRemainderRpcResponse。
go-doudou只支持Protobuf v3。
實現(xiàn)接口
下面我們在svcimpl.go文件中編寫我們的業(yè)務代碼。先看一下現(xiàn)在的代碼。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
"context"
"go-doudou-tutorials/go-stats/config"
pb "go-doudou-tutorials/go-stats/transport/grpc"
)
var _ pb.GoStatsServiceServer = (*GoStatsImpl)(nil)
type GoStatsImpl struct {
pb.UnimplementedGoStatsServiceServer
conf *config.Config
}
func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) {
//TODO implement me
panic("implement me")
}
func NewGoStats(conf *config.Config) *GoStatsImpl {
return &GoStatsImpl{
conf: conf,
}
}
第13行將*GoStatsImpl類型的nil賦值給pb.GoStatsServiceServer接口類型的_的作用是確保指針類型的GoStatsImpl結(jié)構(gòu)體實例始終都實現(xiàn)pb.GoStatsServiceServer接口。相當于一種約束。
我們可以根據(jù)實際需求往GoStatsImpl結(jié)構(gòu)體里聲明任何字段來存放各種資源,比如外部服務的客戶端,數(shù)據(jù)庫連接,任意的隊列或者池等等。這里有一個包級別的工廠方法NewGoStats用來注入各種依賴,創(chuàng)建一個指針類型的GoStatsImpl結(jié)構(gòu)體實例。
接下來我們實現(xiàn)LargestRemainderRpc方法。因為go-doudou不支持grpc-gateway和grpc-web等RESTful轉(zhuǎn)gRPC的轉(zhuǎn)發(fā)器,如果需要在一套程序同時支持RESTful服務和gRPC服務,go-doudou提供的解決方案是分別綁定兩個端口,啟動http服務器和gRPC服務器,復用一套業(yè)務邏輯代碼,所以如果考慮后期可能需要加上RESTful支持的話,推薦不要直接實現(xiàn)pb.GoStatsServiceServer接口,而是先實現(xiàn)GoStats接口,然后再調(diào)用GoStats接口的實現(xiàn)方法去實現(xiàn)pb.GoStatsServiceServer接口。這樣就實現(xiàn)了業(yè)務邏輯代碼的復用。
我個人傾向于不管現(xiàn)在和以后是否需要支持RESTful,都先執(zhí)行 go-doudou svc http -c 命令生成RESTful相關代碼。

現(xiàn)在的項目結(jié)構(gòu)是這樣的:
? go-stats git:(master) ? tree -L 3
.
├── Dockerfile
├── client
│ ├── client.go
│ ├── clientproxy.go
│ └── iclient.go
├── cmd
│ └── main.go
├── config
│ └── config.go
├── db
│ └── db.go
├── go.mod
├── go.sum
├── gostats_openapi3.go
├── gostats_openapi3.json
├── svc.go
├── svcimpl.go
├── transport
│ ├── grpc
│ │ ├── annotation.go
│ │ ├── gostats.pb.go
│ │ ├── gostats.proto
│ │ └── gostats_grpc.pb.go
│ └── httpsrv
│ ├── handler.go
│ ├── handlerimpl.go
│ └── middleware.go
└── vo
└── vo.go
8 directories, 21 files
httpsrv包里是http路由以及http請求解析和返回數(shù)據(jù)序列化相關的代碼。我們可以刪掉也可以先留著。我們看一下svcimpl.go文件有什么變化。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
"context"
"go-doudou-tutorials/go-stats/config"
pb "go-doudou-tutorials/go-stats/transport/grpc"
"go-doudou-tutorials/go-stats/vo"
"github.com/brianvoe/gofakeit/v6"
)
var _ GoStats = (*GoStatsImpl)(nil)
var _ pb.GoStatsServiceServer = (*GoStatsImpl)(nil)
type GoStatsImpl struct {
pb.UnimplementedGoStatsServiceServer
conf *config.Config
}
func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) {
//TODO implement me
panic("implement me")
}
func NewGoStats(conf *config.Config) *GoStatsImpl {
return &GoStatsImpl{
conf: conf,
}
}
func (receiver *GoStatsImpl) LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error) {
var _result struct {
Data []vo.PercentageRespVo
}
_ = gofakeit.Struct(&_result)
return _result.Data, nil
}
第17行和第3642行是新生成的代碼。第17行的作用是確保指針類型的GoStatsImpl始終實現(xiàn)GoStats接口。第3642行是需要我們實現(xiàn)的打樁代碼。
下面我們編寫業(yè)務邏輯代碼:
func (receiver *GoStatsImpl) LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error) {
if len(payload.Data) == 0 {
return
}
input := make([]numberutils.Percentage, 0)
for _, item := range payload.Data {
input = append(input, numberutils.Percentage{
Value: item.Value,
Data: item.Key,
})
}
numberutils.LargestRemainder(input, int32(payload.Places))
for _, item := range input {
data = append(data, vo.PercentageRespVo{
Value: item.Value,
Key: item.Data.(string),
Percent: item.Percent,
PercentFormatted: item.PercentFormatted,
})
}
return
}
go-doudou在 github.com/unionj-cloud/go-doudou/v2/toolkit/numberutils 包里提供了一個工具函數(shù)LargestRemainder。此處略過具體的算法實現(xiàn)。
現(xiàn)在我們可以通過復用LargestRemainder方法里的代碼實現(xiàn)LargestRemainderRpc方法。
func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) {
var payload vo.PercentageReqVo
copier.DeepCopy(request, &payload)
data, err := receiver.LargestRemainder(ctx, payload)
if err != nil {
return nil, err
}
var ret pb.LargestRemainderRpcResponse
err = copier.DeepCopy(data, &ret.Data)
if err != nil {
return nil, err
}
return &ret, nil
}
我們無需手工編寫pb.PercentageReqVo轉(zhuǎn)vo.PercentageReqVo和[]vo.PercentageRespVo轉(zhuǎn)[]*pb.PercentageRespVo的代碼,直接用 github.com/unionj-cloud/go-doudou/v2/toolkit/copier 包里的DeepCopy函數(shù)做深拷貝即可。
測試服務
因為我們生成了新的代碼,導入了新的依賴,所以我們需要再執(zhí)行一下 go mod tidy 。然后我們啟動服務,測試一下效果。
? go-stats git:(master) ? go mod tidy && go run cmd/main.go
2022/11/23 13:18:13 maxprocs: Leaving GOMAXPROCS=16: CPU quota undefined
_ _
| | | |
__ _ ___ ______ __| | ___ _ _ __| | ___ _ _
/ _` | / _ \ |______| / _` | / _ \ | | | | / _` | / _ \ | | | |
| (_| || (_) | | (_| || (_) || |_| || (_| || (_) || |_| |
__, | ___/ __,_| ___/ __,_| __,_| ___/ __,_|
__/ |
|___/
2022-11-23 13:18:13 INF ================ Registered Services ================
2022-11-23 13:18:13 INF +------------------------------------------+----------------------+
2022-11-23 13:18:13 INF | SERVICE | RPC |
2022-11-23 13:18:13 INF +------------------------------------------+----------------------+
2022-11-23 13:18:13 INF | go_stats.GoStatsService | LargestRemainderRpc |
2022-11-23 13:18:13 INF | grpc.reflection.v1alpha.ServerReflection | ServerReflectionInfo |
2022-11-23 13:18:13 INF +------------------------------------------+----------------------+
2022-11-23 13:18:13 INF ===================================================
2022-11-23 13:18:13 INF Grpc server is listening at [::]:50051
2022-11-23 13:18:13 INF Grpc server started in 1.001238ms
我個人傾向于采用 evans 去幫助測試和調(diào)試gRPC服務。
? go-stats git:(master) ? evans -r repl -p 50051
______
| ____|
| |__ __ __ __ _ _ __ ___
| __| \ \ / / / _. | | '_ \ / __|
| |____ \ V / | (_| | | | | | __ \
|______| _/ __,_| |_| |_| |___/
more expressive universal gRPC client
go_stats.GoStatsService@127.0.0.1:50051> show service
+----------------+---------------------+-----------------+-----------------------------+
| SERVICE | RPC | REQUEST TYPE | RESPONSE TYPE |
+----------------+---------------------+-----------------+-----------------------------+
| GoStatsService | LargestRemainderRpc | PercentageReqVo | LargestRemainderRpcResponse |
+----------------+---------------------+-----------------+-----------------------------+
go_stats.GoStatsService@127.0.0.1:50051> service GoStatsService
go_stats.GoStatsService@127.0.0.1:50051> call LargestRemainderRpc
<repeated> data::value (TYPE_INT32) => 20
<repeated> data::key (TYPE_STRING) => apple
<repeated> data::value (TYPE_INT32) => 30
<repeated> data::key (TYPE_STRING) => banana
<repeated> data::value (TYPE_INT32) => 40
<repeated> data::key (TYPE_STRING) => pear
<repeated> data::value (TYPE_INT32) =>
places (TYPE_INT32) => 2
{
"data": [ { "key": "apple", "percent": 22.22, "percentFormatted": "22.22%", "value": 20 }, { "key": "banana", "percent": 33.33, "percentFormatted": "33.33%", "value": 30 }, { "key": "pear", "percent": 44.45, "percentFormatted": "44.45%", "value": 40 } ]
}
我們輸入apple 20kg,banana 30kg,pear 40kg和保留2位小數(shù),然后得到了我們期望的結(jié)果:22.22 + 33.33 + 44.45 = 100。
總結(jié)
本文我們學到了采用go-doudou微服務框架開發(fā)gRPC服務的基本技能,同時我們需要知道go-doudou不僅可以幫助開發(fā)者輕松地開發(fā)gRPC服務,它還包含了一套完善的服務治理方案幫助開發(fā)者打造完整的微服務系統(tǒng)。go-doudou雖然開源時間不長,但是非常有發(fā)展?jié)摿?,希望越來越多的開發(fā)者可以加入進來,更多關于go doudou開發(fā)gRPC服務的資料請關注腳本之家其它相關文章!
相關文章
Golang編程并發(fā)工具庫MapReduce使用實踐
這篇文章主要為大家介紹了Golang并發(fā)工具庫MapReduce的使用實踐,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-04-04
實時通信的服務器推送機制 EventSource(SSE) 簡介附go實現(xiàn)示例代碼
EventSource是一種非常有用的 API,適用于許多實時應用場景,它提供了一種簡單而可靠的方式來建立服務器推送連接,并實現(xiàn)實時更新和通知,這篇文章主要介紹了實時通信的服務器推送機制 EventSource(SSE)簡介附go實現(xiàn)示例,需要的朋友可以參考下2024-03-03
Golang中實現(xiàn)類似類與繼承的方法(示例代碼)
這篇文章主要介紹了Golang中實現(xiàn)類似類與繼承的方法,Go語言中通過方法接受者的類型來決定方法的歸屬和繼承關系,本文通過示例代碼講解的非常詳細,需要的朋友可以參考下2024-04-04
Go Sentinel 動態(tài)數(shù)據(jù)源配置指南(示例詳解)
本文介紹了如何使用Go語言配置Sentinel的動態(tài)數(shù)據(jù)源,并通過本地文件和Nacos兩種方式實現(xiàn)動態(tài)配置,通過這種方式,可以靈活地管理和更新限流規(guī)則,提升系統(tǒng)的穩(wěn)定性和響應速度,感興趣的朋友跟隨小編一起看看吧2025-01-01
Go中time.RFC3339 時間格式化的實現(xiàn)
這篇文章主要介紹了Go中time.RFC3339 時間格式化的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2021-01-01
golang模板template自定義函數(shù)用法示例
這篇文章主要介紹了golang模板template自定義函數(shù)用法,結(jié)合實例形式分析了Go語言模板自定義函數(shù)的基本定義與使用方法,需要的朋友可以參考下2016-07-07

