面向向量处理器的二维矩阵卷积的设计与实现张军阳，郭阳（国防科技大学计算机学院，湖南长沙410073）摘要：为了加速卷积神经网络模型的计算速度，便于大规模神经网络模型在嵌入式微处理器中的实现，本文以FT-matrix2000向量处理器体系结构为研究背景，通过对多核向量处理器体系结构的分析和卷积神经网络算法的深入研究，提出一种将规模较小的卷积核数据置于标量存储体，尺寸较大的卷积矩阵置于向量存储体的数据布局方案；针对矩阵卷积中数据难以复用的问题，提出一种根据卷积核移动步长的不同动态可配置的混洗模式，通过对所取卷积矩阵元素进行不同的移位操作，进而大幅提高卷积矩阵数据的复用率；针对二维矩阵卷积由于存在数据相关性进而难以多核并行的问题，提出一种将卷积矩阵多核共享，卷积核矩阵多核独享的多核并行方案；设计了卷积核尺寸不变、卷积矩阵规模变化和卷积矩阵尺寸不变、卷积核规模变化的两种计算方式，并在主流CPU、gtx1080TI、TI6678、FT-ma-trix2000平台进行了性能对比与分析。最终实验结果表明，相比多核CPU最高可加速238倍，相比TI6678可加速21倍、相比高性能gtx1080TI可加速663805倍。关键字：卷积神经网络；向量处理器；多核实现；矩阵卷积中国分类号：文献标志码：文章编号：Designandimplementationoftwo-dimensionalmatrixconvolutionbasedonvectorprocessorZHANGJunyang，GUOYang(CollegeofComputer,NationalUniversityofDefenseTechnology,Changsha410073,China)Abstract:Inordertoacceleratethecomputationalspeedofconvolutionalneuralnetworkmodelandfacilitatetheimple-mentationoflarge-scaleneuralnetworkmodelinembeddedmicroprocessor,thispapertakestheFT-matrix2000vectorproces-sorarchitectureastheresearchbackground,throughtheanalysisofthemulti-corevectorprocessorarchitectureandconvolu-tionalneuralnetworkalgorithm,adatalayoutschemeisproposedinwhichasmallerconvolutionkerneldataisplacedinascalarmemorybankandalargerconvolutionmatrixisplacedinavectorbank.Aimingattheproblemthatthedatainthema-trixconvolutionishardtoreuse,adynamicshufflingpatternwithdifferentdynamicconfigurableparametersbasedonthemov-ingstepsoftheconvolutionkernelisproposed,bycarryingoutdifferentshiftoperationsontheconvolutionmatrixelements,themultiplexingrateofconvolutionmatrixdataisgreatlyimproved.Aimingattheproblemthattwo-dimensionalmatrixcon-volutionisdifficulttomulticoreparallelismduetotheexistenceofdatacorrelation,amulti-coreparallelschemewithconvolu-tionmatrixsharingandconvolutionkernelmatrixmulticoreexclusiveisproposed.Twocomputingmethodsofconvolutionkernelsizeunchanged,convolutionmatrixsizechangeandconvolutionmatrixsizeunchangedandconvolutionkernelsizechangearedesigned,performancecomparisonandanalysisarecarriedoutinmainstreamCPU,gtx1080TI,TI6678andFT-ma-trix2000.Thefinalexperimentalresultsshowthatcomparedtomulti-coreCPUcanbeacceleratedupto238X,comparedtoTI6678canbeaccelerated21X,comparedtohigh-performancegtx1080TIcanaccelerate663805X.Keywords:convolutionneuralnetwork;vectorprocessor;multi-coreimplementation;matrixconvolution近年来，深度学习[1]受到了越来越多的关注，尤其是在图像识别[2]、语音识别[3]、机器翻译[4]自然语言处理等领域基于深度学习的目标识别技术都取得了重大突破，进而引发了机器学习和计算机视觉等领域的新一轮研究热潮。深度学习包括一系列神经网络模型，如卷积神经网络(ConvolutionalNeuralNetwork，CNN)[5-6]、深度置信网络(DeepBeliefNetwork，DBN)[7-9]、自动编码机[10]、循环神经网络(RecurrentNeuralNetwork，RNN)[11]等常用模型。尤其是基于CNN的模型在图像识别领域取得了重大突破，当前几乎所有的图像识别类任务中识别率最好的模型都是基于CNN。一般来说CNN模型有若干卷积层和池化层交替出现，最后由若干全连接层...