docker容器內(nèi)安裝TensorRT的問題

更新時間：2021年05月17日 11:40:57 作者：Arnold-FY-Chen

很多朋友在使用docker容器內(nèi)安裝TensorRT的時候，遇到一大堆棘手的問題，不知道怎么處理好了，今天小編就docker安裝TensorRT的問題給大家詳細(xì)介紹下，感興趣的朋友一起看看吧

Ubuntu上卸載已安裝的版本：

   sudo apt-get purge "libnvinfer*"

如果想把安裝文件都刪掉以釋放空間，執(zhí)行:

   dpkg -l | grep tensorrt

查看到安裝包名，假如是nv-tensorrt-repo-ubuntu1804-cuda11.1-trt7.2.1.6-ga-20201007，則執(zhí)行:

sudo dpkg -P nv-tensorrt-repo-ubuntu1804-cuda11.1-trt7.2.1.6-ga-20201007

這樣就把/var/nv-tensorrt-repo-ubuntu1804-cuda11.1-trt7.2.1.6-ga-20201007_1-1這樣的目錄文件刪掉了。

在Ubuntu主機(jī)上安裝TensorRT按照https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-debian 做即可，下載安裝repo的deb文件后執(zhí)行下面的步驟即可，假如安裝適配CUDA10.2的TensorRT7.2.1版，執(zhí)行：

sudo dpkg -i nv-tensorrt-repo-ubuntu1804-cuda10.2-trt7.2.1.6-ga-20201006_1-1_amd64.deb

   sudo apt-key add /var/nv-tensorrt-repo-cuda10.2-trt7.2.1.6-ga-20201006/7fa2af80.pub

   sudo apt-get update

   sudo apt-get install tensorrt

如果是在docker容器內(nèi)安裝就不能使用上面的步驟了，否則在安裝最后一步時總是會遇到類似如下的錯誤:

The following packages have unmet dependencies:
tensorrt : Depends: libnvinfer-dev (= 7.2.1-6+cuda10.2) but 8.0.0-1+cuda11.3 is to be installed
Depends: libnvinfer-plugin-dev (= 7.2.1-6+cuda10.2) but 8.0.0-1+cuda11.3 is to be installed
Depends: libnvparsers-dev (= 7.2.1-6+cuda10.2) but 8.0.0-1+cuda11.3 is to be installed
Depends: libnvonnxparsers-dev (= 7.2.1-6+cuda10.2) but 8.0.0-1+cuda11.3 is to be installed
Depends: libnvinfer-samples (= 7.2.1-6+cuda10.2) but it is not going to be installed
E: Unable to correct problems, you have held broken packages.

容器內(nèi)分明安裝的是CUDA10.2，TensorRT也是7.2.1.6+cuda10.2版的，但是就總是報上面類似的錯誤，換成其他版本也是一樣的繼續(xù)報類似錯，折騰得很郁悶，后來仔細(xì)看NVIDIA的文檔發(fā)現(xiàn)

看來在docker容器內(nèi)安裝TensorRT得用另外的辦法，但是呢，用Network Repo方式安裝去指定安裝一堆libnvinfer*庫（根據(jù)需要修改8為7）是在是麻煩：

而且裝完后后來編譯程序時發(fā)現(xiàn)還有這樣那樣的問題，哪怕是指定版本的方式也是同樣有問題：

又來回折騰了一陣還是有錯，最后往下看發(fā)現(xiàn)了這個最簡單可靠的方式:

也就是說，最前面報那種莫名其妙的錯，其實(shí)是因?yàn)閐ocker容器內(nèi)配置有NVIDIA CUDA network repository，而手工下載安裝nv-tensorrt-repo-ubuntu1804-cuda10.2-trt7.2.1.6-ga-20201006_1-1_amd64.deb這樣的TensorRT local repository后，使用sudo apt-get install tensorrt安裝的話由于有兩種源會導(dǎo)致包沖突，只需要在/etc/apt/preferences.d/下增加個文件local-repo，內(nèi)容是:

Package: *
Pin: origin ""
Pin-Priority: 1001

然后執(zhí)行

 sudo apt-get update
 sudo apt-get install tensorrt

就順利安裝完成local repo對應(yīng)的版本cuda10.2-trt7.2.1.6，然后編譯程序也沒見什么錯誤了！

感覺NVIDIA的文檔有的地方寫得真的是爛，不能針對每種環(huán)境安裝分別清楚無誤完整地說明白么，非要把很多攪合在一起讓用戶自己去蹚一個個坑

另外，如果是使用的RTX30序列的GPU，CUDA版本需要 >= 11.1，不然，雖然TensorRT可以安裝，但是實(shí)際運(yùn)行時可能會報下面這樣的錯誤：

[W] [TRT] Half2 support requested on hardware without native FP16 support, performance will be negatively affected.
[E] [TRT] ../rtSafe/cuda/caskUtils.cpp (98) - Assertion Error in trtSmToCask: 0 (Unsupported SM.)

11.1.0雖然可以用，但是編譯caffe或darknet等某些程序時可能會有下面的錯誤: