时间及通道双维序列注意力音乐声源分离方法

摘要：

针对音乐中乐器声源表征特异性不足的问题,结合乐器声源与曲式内容相关的结构特征,提出了双维序列注意力/时域端到端音乐源分离方法.首先,由于各乐器声源在曲式不同部分的出现具有显著规律性,因此从时间及特征通道两个维度,对特征基函数进行差异化注意力加权.其次,在损失函数中引入频率多分辨因子,同时从时域及频域衡量分离后声源和理想声源间的差异.在MUSDB18数据集上的实验结果表明,同时强调声源的时域曲式结构特征和离散谐波特征,可以进一步改善乐器声源分离效果.与目前最先进的时域端到端音乐源分离方法Demucs相比,信噪比指标提升了 0.40 dB,且在鼓和低音等声源的分离上表现尤为突出,鼓声源信噪比指标提升0.13 dB,低音声源信噪比指标提升0.60 dB.充分利用声源的语义内容及声学特征等多维度先验知识,可以进一步提升声源表征的特异性,从而提升声源的可分离程度.

关键词：音频信号处理、音乐源分离、双维序列注意力机制、多分辨率正则项

所属期刊栏目：48

分类号：J60-05;S63;TP391.41

资助基金：国家自然科学基金;天津市自然科学基金;天津大学自主创新基金项目

在线出版日期：2023-06-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：588-598