Pytorch轉(zhuǎn)onnx、torchscript方式

更新時(shí)間：2020年05月25日 16:19:01 作者：血_影

這篇文章主要介紹了Pytorch轉(zhuǎn)onnx、torchscript方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧

前言

本文將介紹如何使用ONNX將PyTorch中訓(xùn)練好的模型(.pt、.pth)型轉(zhuǎn)換為ONNX格式，然后將其加載到Caffe2中。需要安裝好onnx和Caffe2。

PyTorch及ONNX環(huán)境準(zhǔn)備

為了正常運(yùn)行ONNX，我們需要安裝最新的Pytorch,你可以選擇源碼安裝：

git clone --recursive https://github.com/pytorch/pytorch
cd pytorch
mkdir build && cd build
sudo cmake .. -DPYTHON_INCLUDE_DIR=/usr/include/python3.6 -DUSE_MPI=OFF
make install
export PYTHONPATH=$PYTHONPATH:/opt/pytorch/build

其中 "/opt/pytorch/build"是前面build pytorch的目。

or conda安裝

conda install pytorch torchvision -c pytorch

安裝ONNX的庫

conda install -c conda-forge onnx

onnx-caffe2 安裝

pip3 install onnx-caffe2

Pytorch模型轉(zhuǎn)onnx

在PyTorch中導(dǎo)出模型通過跟蹤工作。要導(dǎo)出模型，請調(diào)用torch.onnx.export()函數(shù)。這將執(zhí)行模型，記錄運(yùn)算符用于計(jì)算輸出的軌跡。因?yàn)開export運(yùn)行模型，我們需要提供輸入張量x。

這個(gè)張量的值并不重要; 它可以是圖像或隨機(jī)張量，只要它是正確的大小。更多詳細(xì)信息，請查看torch.onnx documentation文檔。

# 輸入模型
example = torch.randn(batch_size, 1, 224, 224, requires_grad=True)

# 導(dǎo)出模型
torch_out = torch_out = torch.onnx.export(model, # model being run
    example, # model input (or a tuple for multiple inputs)
    "peleeNet.onnx",
 verbose=False, # store the trained parameter weights inside the model file
 training=False,
 do_constant_folding=True,
 input_names=['input'],
 output_names=['output'])

其中torch_out是執(zhí)行模型后的輸出，通常以忽略此輸出。轉(zhuǎn)換得到onnx后可以使用OpenCV的 cv::dnn::readNetFromONNX or cv::dnn::readNet進(jìn)行模型加載推理了。

還可以進(jìn)一步將onnx模型轉(zhuǎn)換為ncnn進(jìn)而部署到移動(dòng)端。這就需要ncnn的onnx2ncnn工具了.

編譯ncnn源碼，生成 onnx2ncnn。

其中onnx轉(zhuǎn)換模型時(shí)有一些冗余，可以使用用工具簡化一些onnx模型。

pip3 install onnx-simplifier

簡化onnx模型

python3 -m onnxsim pnet.onnx pnet-sim.onnx

轉(zhuǎn)換成ncnn

onnx2ncnn pnet-sim.onnx pnet.param pnet.bin

ncnn 加載模型做推理

Pytorch模型轉(zhuǎn)torch script

pytorch 加入libtorch前端處理，集體步驟為：

以mtcnn pnet為例

# convert pytorch model to torch script
# An example input you would normally provide to your model's forward() method.
example = torch.rand(1, 3, 12, 12).to(device)
# Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing.
traced_script_module = torch.jit.trace(pnet, example)
# Save traced model
traced_script_module.save("pnet_model_final.pth")

C++調(diào)用如下所示：

#include <torch/script.h> // One-stop header.
#include <iostream>
#include <memory>
int main(int argc, const char* argv[]) 
{
 if (argc != 2) 
 {
 std::cerr << "usage: example-app <path-to-exported-script-module>\n";
 return -1;
 }

 // Deserialize the ScriptModule from a file using torch::jit::load().
 std::shared_ptr<torch::jit::script::Module> module = torch::jit::load(argv[1]);

 assert(module != nullptr);
 std::cout << "ok\n";
}

您可能感興趣的文章: