Go語言中json序列化優(yōu)化技巧

更新時間：2024年11月26日 09:00:23 作者：左詩右碼

在Go語言開發(fā)中,JSON因其簡潔和廣泛的兼容性,通常被用作數(shù)據(jù)交換的主要序列化格式,本文將探討JSON希望對大家有所幫助序列化的一些局限性,也算是一個小坑吧,并給出一些常用的解決方案,

JSON 序列化的潛在問題

我們先來看一個使用 JSON 進行序列化和反序列化的示例：

package json_demo

import (
	"encoding/json"
	"fmt"
)

func JsonEnDeDemo() {
	d1 := make(map[string]interface{})
	d2 := make(map[string]interface{})

	var (
		age    int     = 18
		name   string  = "Alex"
		height float32 = 1.75
	)

	d1["name"] = name
	d1["age"] = age
	d1["height"] = height

	ret, err := json.Marshal(d1)
	if err != nil {
		fmt.Printf("json.Marshal failed: %v\n", err)
		return
	}
	// json.Marshal: {"age":18,"height":1.75,"name":"Alex"}
	fmt.Printf("json.Marshal: %s\n", string(ret))

	err = json.Unmarshal(ret, &d2)
	if err != nil {
		fmt.Printf("json.Unmarshal failed: %v\n", err)
		return
	}
	// json.Unmarshal: map[age:18 height:1.75 name:Alex]
	fmt.Printf("json.Unmarshal: %v\n", d2)

	// 這里我們可以發(fā)現(xiàn)一個問題：Go 語言中的 json 包在序列化 interface{} 類型時，會將數(shù)字類型（整型、浮點型等）都序列化為 float64 類型
	for k, v := range d2 {
		// key: age, value: 18, type:float64
		// key: height, value: 1.75, type:float64
		// key: name, value: Alex, type:string
		fmt.Printf("key: %s, value: %v, type:%T \n", k, v, v)
	}
}

這段代碼展示了如何將一個包含 name、age 和 height 的 Go map 數(shù)據(jù)結(jié)構(gòu)序列化為 JSON 字符串，然后再反序列化回來。看似一切正常，但請注意反序列化后的數(shù)據(jù)類型變化。

運行代碼后的輸出可能會讓你感到意外：

json.Marshal: {"age":18,"height":1.75,"name":"Alex"}
json.Unmarshal: map[age:18 height:1.75 name:Alex]
key: age, value: 18, type:float64 
key: height, value: 1.75, type:float64 
key: name, value: Alex, type:string

問題：我們發(fā)現(xiàn)，盡管原始數(shù)據(jù)中 age 是 int 類型，height 是 float32 類型，但經(jīng)過 JSON 反序列化后，它們?nèi)甲兂闪?float64 類型。

Go 語言中的 encoding/json 包會將所有數(shù)字類型（包括整型、浮點型等）都轉(zhuǎn)換為 float64 ，那么，有沒有方式可以不讓類型丟失呢？還真有！

gob 二進制協(xié)議，高效且保留類型的 Go 專用序列化

為了避免 JSON 的這一局限性，我們可以使用 Go 語言特有的 GOB 序列化方式。GOB 不僅可以高效地序列化數(shù)據(jù)，還能夠保留原始數(shù)據(jù)類型。

以下是使用 GOB 進行序列化和反序列化的示例：

package json_demo

import (
	"bytes"
	"encoding/gob"
	"fmt"
)

func GobEnDeDemo() {
	d1 := make(map[string]interface{})
	d2 := make(map[string]interface{})

	var (
		age    int     = 18
		name   string  = "Alex"
		height float32 = 1.75
	)

	d1["name"] = name
	d1["age"] = age
	d1["height"] = height

	// encode
	buf := new(bytes.Buffer)
	enc := gob.NewEncoder(buf)
	err := enc.Encode(d1)
	if err != nil {
		fmt.Printf("gob.Encode failed: %v\n", err)
		return
	}
	b := buf.Bytes()
	// gob.Encode:  [13 127 4 1 2 255 128 0 1 12 1 16 0 0 57 255 128 0 3 4 110 97 109 101 6 115 116 114 105 110 103 12 6 0 4 65 108 101 120 3 97 103 101 3 105 110 116 4 2 0 36 6 104 101 105 103 104 116 7 102 108 111 97 116 51 50 8 4 0 254 252 63]
	fmt.Println("gob.Encode: ", b)

	// decode
	dec := gob.NewDecoder(bytes.NewBuffer(b))
	err = dec.Decode(&d2)
	if err != nil {
		fmt.Printf("gob.Decode failed: %v\n", err)
		return
	}
	// gob.Decode: map[age:18 height:1.75 name:Alex]
	fmt.Printf("gob.Decode: %v\n", d2)

	for k, v := range d2 {
		// key: name, value: Alex, type:string
		// key: age, value: 18, type:int
		// key: height, value: 1.75, type:float32
		fmt.Printf("key: %s, value: %v, type:%T \n", k, v, v)
	}
}

從上面的代碼中可以看到，GOB 序列化不僅保留了 age 的 int 類型和 height 的 float32 類型，還能高效地進行數(shù)據(jù)編碼。這使得 GOB 成為在 Go 程序內(nèi)部傳遞數(shù)據(jù)的理想選擇。

第三方包 msgpack

msgpack 是一種高效的二進制序列化格式，它允許你在多種語言(如JSON)之間交換數(shù)據(jù)。但它更快更小。

首先需要先下載這個包

go get -v github.com/vmihailenco/msgpack/v5

來看一個使用 msgpack 的示例：

package json_demo

import (
	"fmt"
	"github.com/vmihailenco/msgpack/v5"
)

func MsgpackEnDeDemo() {
	// msgpack 序列化示例
	d1 := make(map[string]interface{})
	d2 := make(map[string]interface{})

	var (
		age    int     = 18
		name   string  = "Alex"
		height float32 = 1.75
	)

	d1["name"] = name
	d1["age"] = age
	d1["height"] = height

	// encode
	b, err := msgpack.Marshal(d1)
	if err != nil {
		fmt.Printf("msgpack.Marshal failed: %v\n", err)
		return
	}
	// msgpack.Marshal:  [131 164 110 97 109 101 164 65 108 101 120 163 97 103 101 18 166 104 101 105 103 104 116 202 63 224 0 0]
	fmt.Println("msgpack.Marshal: ", b)

	// decode
	err = msgpack.Unmarshal(b, &d2)
	if err != nil {
		fmt.Printf("msgpack.Unmarshal failed: %v\n", err)
		return
	}
	// msgpack.Unmarshal: map[age:18 height:1.75 name:Alex]
	fmt.Printf("msgpack.Unmarshal: %v\n", d2)

	for k, v := range d2 {
		// key: age, value: 18, type:int8
		// key: height, value: 1.75, type:float32
		// key: name, value: Alex, type:string
		fmt.Printf("key: %s, value: %v, type:%T \n", k, v, v)
	}

}

msgpack的優(yōu)勢：