深度学习研究进展计算机应用研究2022-2023年第7期收稿日期：年月日；最终修改稿收到日期：年月日。基金项目：国家“九七三”重点基础研究计划基金项目(2022CB730500)；国家自然科学基金项目(21016127)；中国石油大学(北京)基础学科研究基金项目(JCXK-2022-07)。作者简介：刘建伟，男，1966年生，博士，副研究员，主要研究领域为智能信息处理、复杂系统分析、预测与控制、算法分析与设计，E-mail：liujw@https://www.sodocs.net/doc/ff131016520.html。刘媛，女，11019年生，硕士研究生，主要研究方向为机器学习。罗雄麟，男，1963年生，博士，教授，主要研究方向为智能控制。深度学习研究进展*刘建伟1，刘媛1，罗雄麟1(中国石油大学自动化研究所,北京102249)1摘要：深度学习能够有效学习数据的特征和表示，作为机器学习的一个研究领域在近几年受到了广泛的关注。鉴于深度学习的重要性，综述了深度学习的研究进展。首先概述了深度学习具有的优点，由此说明了引入深度学习的必要性，然后描述了三种典型的深度学习模型，包括卷积神经网络模型、深度信任网络模型和堆栈自编码网络模型，接着对近几年深度学习在初始化方法、网络层数和激活函数的选择、模型结构、学习算法和实际应用这四个方面的研究新进展进行了综述，最后探讨了深度学习在理论分析、数据表示与模型、特征提取、训练与优化求解和研究拓展这五个方面中有待进一步研究解决的问题。关键词：深度学习；神经网络；模型；表示；堆栈；初始化；预训练；抽样中图分类号：TP181ResearchanddevelopmentondeeplearningLIUJian-wei1,LIUYuan1,LUOXiong-lin1(ResearchInstituteofAutomation,ChinaUniversityofPetroleum,Beijing102249,China)Abstract:Deeplearningcanlearnfeaturesandrepresentationsofdataeffectively,andhasreceivedwidespreadattentionasanareaofmachinelearningfieldinrecentyears.Inviewofthesignificanceofdeeplearning,thispaperreviewedtheresearchanddevelopmentondeeplearning.Firstly,thispapersummarizedtheadvantageofdeeplearning,andillustratedthenecessityofintroducingdeeplearning.Secondly,itdescribedthreekindsoftypicaldeeplearningmodels,includingconvolutionalneuralnetworkmodel,deepbeliefnetworkmodel,andstackedauto-encodernetworkmodel.Thirdly,itreviewednewresearchanddevelopmentondeeplearninginrecentyears,includingthechoiceofinitializationmethods,thenumberofnetworklayers,andactivationfunction,modelstructure,learningalgorithms,andpracticalapplication.Finally,itpresentedtheproblemstobesolvedinaspectsoftheoreticalanalysis,representationandmodelofdata,featureextraction,trainingandoptimization,andresearchextension.Keywords:deeplearning;neuralnetwork;model;representation;stacking;initialization;pre-training;sampling0引言许多研究表明为了能够学习表示高阶抽象概念的复杂函数，解决目标识别、语音感知和语言理解等人工智能相关的任务，需要引入深度学习(deeplearning)。深度学习架构由多层非线性运算单元组成，每个较低层的输出作为更高层的输入，可以从大量输入数据中学习有效的特征表示，学习到的高阶表示中包含输入数据的许多结构信息，是一种从数据中提取表示的好的方法，能够用于分类、回归和信息检索等特定问题中。深度学习的概念起源于人工神经网络的研究，有多个隐层的多层感知器是深度学习模型的一个很好的范例。对神经网络而言，深度度指的是网络学习得到的函数中非线性运算组合水平的数量。当前神经网络的学习算法多是针对较低水平的网络结构，将这种网络称为浅结构神经网络，如一个输入层、一个隐层和一个输出层的神经网络。与此相反，将非线性运算组合水平较高的网络称为深度结构神经网络，如一个输入层、三个隐层和一个输出层的神经网络。---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---本文来源：网络收集与整理，如有侵权，请联系作者删除，谢谢！---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---