对抗样本生成及防御方法综述刘海燕吕涵---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---摘要：随着人工智能的不断发展，机器学习在多个领域中取得了很好的应用效果。然而对抗样本的出现对机器学习模型的安全性造成了不容忽视的威胁，导致了机器学习模型的分类准确性降低。文章简述了对抗样本的起源、概念以及不同的对抗攻击方式，研究了典型的对抗样本生成方法以及防御方法，并在此基础上，展望了关于对抗攻击和对抗攻击防御的未来发展趋势。Key：机器学习;对抗样本;神经网络;对抗攻击：TP18：A：2096-4706（2021）22-0082-04Abstract：Withthecontinuousdevelopmentofartificialintelligence，machinelearninghasachievedgoodapplicationeffectsinmanyfields.However，theemergenceofadversarialsamplesposesaseriousthreattothesecurityofmachinelearningmodelsandreducestheaccuracyofmachinelearningmodelclassification.Thispaperbrieflydescribestheorigin，conceptanddifferentadversarialattackmethodsofadversarialsamples，studiestypicaladversarialsamplegenerationmethodsanddefensemethods，andonthisbasis，putsforwardthefuturedevelopmenttrendofadversarialattackandadversarialattackdefense.---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---Keywords：machinelearning;adversarialsample;neuralnetwork;adversarialattack0引言人工智能技術促进了新兴技术的快速发展，它的重要驱动力之一就是机器学习算法，机器学习算法已广泛应用于各种领域，如自动驾驶，医疗和恶意软件检测等。但是研究表明，机器学习算法面临着一系列对抗性威胁，影响其安全性问题的关键就是对抗样本。对抗样本的产生使得机器学习模型的分类准确率大大降低，因此，研究对抗样本的生成及防御方法变得尤为重要。而且，由于多数机器学习算法是黑盒模型，其构造的分类模型具有不可解释性，进一步研究对抗样本对于解释机器学习尤其是深度学习算法有所帮助。2013年，Szegedy等人[1]第一次提出了对抗样本的概念，Goodfellow等人[2]解释了对抗样本的基本原理，证明了高维线性是导致攻击效果显著的根本原因。此后，关于机器学习算法的安全性问题的研究越来越多，包括如何提高对抗攻击的成功率和分类模型的鲁棒性。本文总结了近年来对抗样本生成以及防御方法取得的进展，并简述了其存在的问题以及未来的发展趋势。1对抗样本及对抗攻击1.1对抗样本的起源和概念假设决策边界决定样本的分类，如图1所示，A类和B类分别代表不同的样本空间，由于机器学习模型并不能做到覆盖全样本特征，模型决策边界与真实决策边界之间还存在一定差异，这两者之间的差别体现在其相交的区域，即对抗样本空间。对抗样本是指在原始样本中加入细微扰动并使模型错误分类的一种合成样本。对抗攻击是指用对抗样本攻击分类模型，使其分类的准确性下降。对抗攻击也可以说是对抗样本生成的过程。对抗攻击具有可迁移性，即用针对某分类模型生成的对抗样本攻击其他分类模型。---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---1.2对抗攻击的分类对抗攻击按照不同的分类标准可分为不同的类型：（1）按照攻击目标的不同，对抗攻击可分为无目标攻击（non-targetedattack）和目标攻击（targetedattack）。无目标攻击是指攻击者使输入样本被分类到任意错误类别;目标攻击是指攻击者使输入样本被分类到指定错误类别。（2）按照攻击者对模型信息的获取程度，对抗攻击可分为白盒攻击（White-boxAttack）和黑盒攻击（Black-boxAttack）。白盒攻击是指攻击者掌握目标模型的结构、参数和训练数据等详细信息。黑盒攻击是指攻击者不了解目标模型的关键信息，仅能通过对模型输入样本得到输出信息来推理模型特性。（3）按照算法的迭代过程，对抗攻击可分为单次迭代攻击和多次迭代攻击。单次迭代算法可以快速生成对抗样本;多次迭代算法攻击效果好但效率较低。（4）按照攻击的过程不同，对抗攻击可分为投毒攻击、逃避攻击、模仿攻击和逆向攻击。投毒攻击是将生成的对...