使用TensorRT进行深度学习推理

摘要：

TensorRT是一个高性能的深度学习推理平台.它包括一个深度学习推理优化器和运行时为深度学习推理应用程序提供低延迟和高吞吐量.给出了一个使用TensorRT快速构建计算管道的例子,实现通过TensorRT执行智能视频分析的典型应用.该示例演示了使用片上解码器进行解码、使用片上标量进行视频缩放和GPU计算的4个并发视频流.为了演示的简单性,只有一个通道使用NVIDIA TensorRT执行对象标识,并在标识的对象周围生成包围框.该示例还使用视频转换器函数进行各种格式转换,使用EGLImage来演示缓冲区共享和图像显示.最后采用GPU卡V100对ResNet网络进行TensorRT加速性能的实际测试,结果表明TensorRT能够使吞吐量提升大约15倍.

关键词：TensorRT、深度学习推理、对象检测、统一计算设备架构

所属期刊栏目：41

分类号：TN219(光电子技术、激光技术)

资助基金：装备预先研究兵器工业联合基金6141B01020205

在线出版日期：2020-04-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：337-341