融合循环划分的张量指令生成优化
张量编译器支持将算子的张量描述和计算调度编译为目标硬件的代码.为加速张量运算,深度学习领域专用处理器被设计为包含特殊指令的专有架构,支持多核并行、多级专用内存架构和张量计算,在硬件之上还有与硬件特性紧密相关的张量指令集.在这样复杂的架构上,张量指令的使用有着许多约束与限制,并存在以下问题和挑战:首先,因计算任务划分或数据切块等循环分段引入的条件分支增加了模式匹配难度;其次,张量指令有对齐、数据布局等硬件约束.针对上述问题和挑战,提出了一种融合循环划分的张量指令生成优化算法.算法通过划分循环区间,来消除因任务划分或数据切分引入的条件分支;通过补零、等价指令替换和添加额外计算来解决指令和硬件约束;并使用模式匹配的方法生成张量指令.研究并扩展开源深度学习编译器TVM 0.7版本,实现了支持DianNao架构机器学习加速器的张量指令生成的编译器原型系统.为评测算法的有效性,在DianNao架构机器学习加速器硬件平台上,对逐元素二元张量操作算子、原地一元张量操作算子和卷积操作算子3类算子的性能和开发效率进行了测试,实验结果表明3类算子性能平均加速比为125.00％,最大加速比为194.00％,开发效率最高提升了 7倍.
深度学习、张量编译器、领域专用处理器、张量化、循环划分
50
TP311(计算技术、计算机技术)
中国科学技术大学研究生教育创新计划项目;中国科学技术大学研究生教育创新计划项目
2023-03-08（万方平台首次上网日期，不代表论文的发表时间）
共10页
374-383
