摘 要：文章探讨了一种音频分离模型推理加速的一种使用多线程的设计方法，这个方法可以有效地提高模型端侧部署推理速度，有效节省用户使用等待时间。对于一段 10 s 的音频，使用文章中提出的方法可以仅使用 0.48 s 就完成推理，以此推算，文中算法在处理器为 Inteli7 时，处理一个时长 2 分钟的视频时间不超过 10 秒。
关键词：多线程；模型推理；并发
DOI:10.19850/j.cnki.2096-4706.2022.014.017
中图分类号：TP311 文献标识码：A 文章编号：2096-4706（2022）14-0071-05
Design and Optimization of Concurrent Reasoning of ONNX Audio Separation Model Based on Multithreading Technology
CHEN Jiale, DONG Xuelian, FANG Huihui, TAN Jingyuan
(University of South China, Hengyang 421001, China)
Abstract: This paper discusses a design method using multithreading of audio separation model reasoning acceleration. This method can effectively improve the inference speed of model end-to-side deployment and effectively save the waiting time of users. For a 10 s audio, using the proposed method in this paper can complete reasoning in only 0.48 s. Based on this calculation, when the processor is Inteli7, the algorithm in this paper process a video of 2 minutes takes no more than 10 seconds.
Keywords: multithreading; model reasoning; concurrency
参考文献：
[1] 秦龙焜 . 基于 .NET Framework 开发的深度学习图像裂缝检测方法 [J]. 电子技术与软件工程，2020（20）：128-130.
[2] 刘正阳 .C/C++ 多线程程序并发访存问题的软件分析研究 [D]. 北京：北京邮电大学，2017.
[3] 王润志，李莉莉，冯燕尔 . 基于 Kaiser 窗函数的 FIR 数字滤波器设计 [J]. 福建电脑，2012，28（3）：21-22+35.
[4] 魏瑾 .Java 多线程技术在网络通信系统中的应用 [J]. 山西电子技术，2022（1）：66-68.
[5] 张驰.基于C++语言的跨平台软件开发的设计与实现 [D].北京：北京交通大学，2010.
作者简介：陈家乐（2000—），男，汉族，广东连州人，本科在读，主要研究方向：软件工程；董雪莲（2001—），女，白族，云南大理人，本科在读，主要研究方向：软件工程；方慧桧（2001—），女，汉族，湖南临湘人，本科在读，主要研究方向：临床医学；谭静元（2000—），女，汉族，广西贵港人，本科在读，主要研究方向：物联网工程。