面向机器学习系统的张量中间表示

摘要：

随着各类机器学习算法的广泛应用,高能效地定制机器学习系统受到越来越多的关注.定制机器学习系统高效部署的关键在于其编程与编译环境.中间表示是编程与编译环境的核心,用于连接上层编程语言和底层硬件指令.当前的中间表示或是面向上层算法或是面向以标量处理为核心的传统处理器,难以高效应对以张量处理为核心的机器学习系统.本文提出了面向机器学习系统的张量中间表示,以提升机器学习系统的编程和运行效率.具体而言,我们定义了一系列张量类型,张量操作及张量存储空间,并在此基础上进行张量处理优化.我们将所提出的张量中间表示对TVM的底层标量中间表示进行了扩展并在典型机器学习系统上进行了实验.我们探索了原有中间表示没有发掘的优化并取得了 1.62～2.85倍的性能提升,同时在典型算子的开发效率上平均提升了 5.46倍.

关键词：机器学习系统、编程与编译、张量处理、中间表示、编程效率

所属期刊栏目：52

分类号：TP393;TN911-34;TD534

资助基金：国家自然科学基金;北京市自然科学基金;中国科学院战略性先导科技专项;中国科学院稳定支持基础研究领域青年团队计划;中国科学院青年创新促进会项目

在线出版日期：2022-07-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1040-1052