欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

JetsonNano使用Tensorrt加速YoloV4-tiny进行实时检测

时间:2023-08-24

        之前在Darknet下使用Yolo V4-tiny进行了图像实时检测的测试,发现帧率一直只有十几,还有很大的提升空间,今天就来尝试一下使用tensorrt进行加速后的效果。

基础环境

Jetson Nano B01 4GB

CUDA 10.2.300

OpenCV 4.1.1 (显示没有用CUDA进行编译,不知道是否有影响)

Tensorrt 8.0.1.6

cuDNN 8.2.1.32

Python 3.6.9

下载tensorrt_demo

git clone https://github.com/jkjung-avt/tensorrt_demos

        在文件夹中点击yolo,里面含有一个requirements.txt的文件夹,包含了所需安装的库及版本,需要逐个安装。

 安装pycuda

        在下载好的代码包中有写好的pycuda安装脚本,在脚本目录下运行即可。

./install_pycuda.sh 

         经过了比较漫长的等待之后,安装完成,似乎numpy也安装了,但是版本不太对。

安装numpy

        一开始直接安装numpy失败了,原因是缺少了Cython。       

pip3 install Cython 

pip3 install numpy

安装onnx=1.4.1

        由于onnx是限定版本的,所以得加上版本号。首先得安装依赖,不然又会报错。

sudo apt-get install protobuf-compiler libprotoc-dev 

pip3 install onnx==1.4.1

测试使用tensorrt_demo 

       在yolo文件夹下有一个download_yolo.sh 文件,里面包含了yolov3 和yolov4的各种模型和cfg文件的下载,运行该脚本,或者自行放入相关模型在文件夹中。

         然后进入plugins文件夹下执行make编译。

       编译完成后,切到yolo文件夹下将yolov4-tiny.weights文件转换为onnx格式 。

python3 yolo_to_onnx.py -m yolov4-tiny

        转换成功后,再生成trt文件。出现了一些警告,应该问题不大。

python3 onnx_to_tensorrt.py -m yolov4-tiny 

        接下来就回到demos目录下,来测试一下了。

        先是经典照片

python3 trt_yolo.py --image dog.jpg -m yolov4-tiny

        不懂为啥图片也要加个帧率 ,接下来看看CSI摄像头的测试效果。

python3 trt_yolo.py --gstr "nvarguscamerasrc ! video/x-raw(memory:NVMM), width=1280, height=720, format=NV12, framerate=30/1 ! nvvidconv flip-method=2 ! video/x-raw, width=1280, height=720, format=BGRx ! videoconvert ! video/x-raw, format=BGR ! appsink" -m yolov4-tiny

        画面因为安装问题所以是倒置的,大家也可以用命令调整一下。帧率可以达到二十左右,效果还行,流畅了不少,按esc退出,ctrl+c会卡很久。测试一下视频。

python3 trt_yolo.py --video test.mp4 -m yolov4-tiny 

        帧率也在20左右,效果不错,很流畅。帧率可能还是和模型的关系比较大。

参考

​​​​​在Jetson Nano上进行实时目标检测:使用tensorRT加速yolov3 v4-tiny (tensorrt_demos)_Uncle Pan's Blog-CSDN博客_jetson nano yolov4加速

​​​​​​yolov4-tiny使用jetson nano进行目标检测+tensorrt+CSI+USB摄像头检测_hhhhhhky的博客-CSDN博客

jetson nano +yolov4-tiny使用tensorRT优化模型做到实时检测_戚晨夕的博客-CSDN博客

 

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。