基于多线程技术的ONNX音频分离模型并发推理的设计与优化

摘要：

文章探讨了一种音频分离模型推理加速的一种使用多线程的设计方法,这个方法可以有效地提高模型端侧部署推理速度,有效节省用户使用等待时间.对于一段10 s的音频,使用文章中提出的方法可以仅使用0.48 s就完成推理,以此推算,文中算法在处理器为Inteli7时,处理一个时长2分钟的视频时间不超过10秒.

关键词：多线程、模型推理、并发

所属期刊栏目：6

分类号：TP311(计算技术、计算机技术)

在线出版日期：2022-09-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：71-74,78