Go語言實現(xiàn)大文件分片上傳與斷點續(xù)傳功能

更新時間：2025年09月13日 11:21:55 作者：楓葉V

在現(xiàn)代 Web 應(yīng)用中,大文件上傳是一個常見需求,為了解決這些痛點,通常采用分片上傳與斷點續(xù)傳的方案,本文將帶你使用 Go 實現(xiàn)一個簡易的大文件分片上傳與斷點續(xù)傳服務(wù),希望對大家有所幫助

核心思路

1.分片上傳

將大文件切分成多個小塊（chunk），逐塊上傳，避免單次上傳過大失敗。

2.斷點續(xù)傳

每個文件有唯一的標識（如 MD5、UUID），服務(wù)端記錄已上傳的分片信息，上傳中斷后可繼續(xù)上傳剩余分片。

.3合并分片

當所有分片上傳完成后，服務(wù)端將這些分片按順序合并成完整文件。

服務(wù)端實現(xiàn)

上傳接口設(shè)計

初始化上傳：生成 uploadId，返回客戶端。
上傳分片：/upload/chunk?uploadId=xxx&chunkIndex=1
合并分片：所有分片傳完后，調(diào)用 /upload/merge 合并。

Go 代碼示例

package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"path/filepath"
	"strconv"
)

// 臨時存放分片目錄
const uploadDir = "./uploads"

func main() {
	// 創(chuàng)建目錄
	os.MkdirAll(uploadDir, os.ModePerm)

	http.HandleFunc("/upload/chunk", uploadChunkHandler)
	http.HandleFunc("/upload/merge", mergeChunksHandler)

	fmt.Println("服務(wù)已啟動: http://localhost:8080")
	http.ListenAndServe(":8080", nil)
}

// 上傳分片
func uploadChunkHandler(w http.ResponseWriter, r *http.Request) {
	uploadId := r.URL.Query().Get("uploadId")
	chunkIndex := r.URL.Query().Get("chunkIndex")

	if uploadId == "" || chunkIndex == "" {
		http.Error(w, "缺少參數(shù)", http.StatusBadRequest)
		return
	}

	// 保存分片目錄
	chunkDir := filepath.Join(uploadDir, uploadId)
	os.MkdirAll(chunkDir, os.ModePerm)

	// 分片文件路徑
	chunkPath := filepath.Join(chunkDir, chunkIndex)

	// 寫入文件
	file, err := os.Create(chunkPath)
	if err != nil {
		http.Error(w, "無法保存分片", http.StatusInternalServerError)
		return
	}
	defer file.Close()

	_, err = io.Copy(file, r.Body)
	if err != nil {
		http.Error(w, "寫入分片失敗", http.StatusInternalServerError)
		return
	}

	w.Write([]byte("分片上傳成功: " + chunkIndex))
}

// 合并分片
func mergeChunksHandler(w http.ResponseWriter, r *http.Request) {
	uploadId := r.URL.Query().Get("uploadId")
	totalChunks := r.URL.Query().Get("totalChunks")

	if uploadId == "" || totalChunks == "" {
		http.Error(w, "缺少參數(shù)", http.StatusBadRequest)
		return
	}

	chunkDir := filepath.Join(uploadDir, uploadId)
	mergedFile := filepath.Join(uploadDir, uploadId+"_merged")

	// 創(chuàng)建目標文件
	dst, err := os.Create(mergedFile)
	if err != nil {
		http.Error(w, "無法創(chuàng)建合并文件", http.StatusInternalServerError)
		return
	}
	defer dst.Close()

	// 合并分片
	chunkCount, _ := strconv.Atoi(totalChunks)
	for i := 1; i <= chunkCount; i++ {
		chunkPath := filepath.Join(chunkDir, strconv.Itoa(i))
		src, err := os.Open(chunkPath)
		if err != nil {
			http.Error(w, fmt.Sprintf("缺少分片 %d", i), http.StatusBadRequest)
			return
		}

		_, err = io.Copy(dst, src)
		src.Close()
		if err != nil {
			http.Error(w, "合并失敗", http.StatusInternalServerError)
			return
		}
	}

	w.Write([]byte("文件合并完成: " + mergedFile))
}

客戶端實現(xiàn)思路

前端/客戶端需要

將文件分割為多個固定大小的 chunk。
順序調(diào)用 /upload/chunk 上傳分片。
上傳完成后調(diào)用 /upload/merge 合并文件。
如果上傳中斷，查詢已上傳分片，從斷點繼續(xù)。

示例偽代碼：

async function uploadFile(file) {
  const chunkSize = 5 * 1024 * 1024; // 5MB
  const totalChunks = Math.ceil(file.size / chunkSize);
  const uploadId = generateUploadId(file); // 可用 MD5/UUID

  for (let i = 0; i < totalChunks; i++) {
    const start = i * chunkSize;
    const end = Math.min(file.size, start + chunkSize);
    const chunk = file.slice(start, end);

    let formData = new FormData();
    formData.append("file", chunk);

    await fetch(`/upload/chunk?uploadId=${uploadId}&chunkIndex=${i+1}`, {
      method: "POST",
      body: chunk
    });
  }

  await fetch(`/upload/merge?uploadId=${uploadId}&totalChunks=${totalChunks}`);
}