基于CodeBERT的设计模式语言模型
设计模式是对实际软件设计方案的经验性总结,是软件开发中辅助软件设计的有效方案之一.现有设计模式挖掘研究的任务大多是在源代码中识别设计模式的实例,少有考虑用 自然语言语料对设计模式建模.为了提升设计模式语言分类模型的推荐效果,将代码、类图或对象协作纳入考虑范围,提出了一种基于CodeBERT的设计模式分类挖掘模型dpCodeBERT,以实现自然语言与代码语言的对照理解.首先,通过随机组合合成多分类算法数据和代码搜索数据作为模型输入,dpCodeBERT模型能够获取transformer层中的模型为令牌生成的注意力权重;然后,分析令牌和语句注意力权重以发现更有效的模型输入类别,进一步改造训练输入;最后,dpCodeBERT模型能够通过全连接层将分布式特征映射到样本空间并输出复数值的方式实现具体软件工程任务,如设计模式选择和设计模式代码搜索任务.在拥有80个软件设计问题的设计模式选择任务的数据集上的实验结果显示,相比同类基准模型,所提模型在设计模式检测准确率(RCDDP)和平均倒数排名(MRR)两个指标上平均提升了 10％～20％,设计模式选择更加准确.通过深度研究模型数据需求,dpCodeBERT挖掘了 CodeBERT对类级代码的理解,探索了 CodeBERT在设计模式挖掘中的应用,具有预测准确、拓展性强等特点.
设计模式挖掘、自然语言处理、预训练语言模型、CodeBERT、模型精调、向量化
50
TP311(计算技术、计算机技术)
2023-12-21（万方平台首次上网日期，不代表论文的发表时间）
共7页
75-81
