引入Transformer和尺度融合的动物骨骼关键点检测模型构建

摘要：

动物的姿态和行为与其自身的健康状况有着密切联系,检测动物骨骼关键点是进行动物姿态识别、异常行为分析的前提.针对现有的关键点检测方法对动物骨骼的识别准确率低、鲁棒性差等问题,该研究提出了一种引入Transformer编码器的动物骨骼关键点检测模型.首先,在HRNet网络的特征提取层中引入改进的Transformer编码器,用于捕捉关键点之间的空间约束关系,在小规模的羊数据集上有较优的检测性能.其次,引入多尺度信息融合模块,提高模型在不同维度特征上的学习能力,让模型可以适用于更多的实际场景.为了验证模型的有效性和泛化性,该研究采集并标注了羊的骨骼关键点数据集,并加入东北虎数据集ATRW共同作为训练集.试验结果表明,在羊和东北虎关键点数据集上,该模型分别取得77.1％和89.7％的准确率,均优于对比模型且计算量更小,单张图像检测时间为14 ms,满足实时检测的需求.使用牛、马等数据集进行跨域测试均能较好地检测出骨骼关键点,并分析了Transformer编码器的可解释性.该研究可为精确检测动物骨骼关键点提供一种有效的技术支持.

关键词：识别;动物;骨骼;卷积神经网络;关键点检测;注意力机制;Transformer编码器

所属期刊栏目：37

分类号：TP391.4(计算技术、计算机技术)

资助基金：陕西省农业科技创新驱动项目NYKJ-2021-YLXN48

在线出版日期：2022-03-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：179-185