应管理与经济学院的邀请,合肥工业大学澳门永利唯一官网304柴一栋研究员于2023年3月18日上午11点在主楼317会议室做了题为《考虑对抗攻击威胁的鲁棒人工智能方法研究》的学术报告。报告会由颜志军书记主持,学院众多师生参加了本次报告会。
报告开始,柴一栋首先通过图片识别和文本识别等案例揭示了目前智能模型方法在安全性方面的漏洞。其中,对抗攻击(Adversarial Attack)通过对原始样本进行轻微扰动生成对抗样本(Adversarial Samples),实现对智能模型的欺骗,从而对智能模型的安全造成严重威胁。为此,柴一栋基于技术威胁规避理论(TTAT),从如何评估智能模型抵御对抗攻击的能力(对抗鲁棒性)以及如何提升智能模型的对抗鲁棒性两个方面展开了阐述。
柴一栋指出,评估智能模型抵御对抗攻击的能力(对抗鲁棒性)可以从指标的设计以及样本的选择入手,通过相对鲁棒性(PerformanceRatio)以及曲线下面积(Area Under the Performance-perturbation Curve)对指标进行设计,并提出了一种新型的可解释的对抗样本生成框架(XATA)来进行样本选择。在提升智能模型的对抗鲁棒性方面,柴一栋通过将多种模型进行融合,设计出了一种基于贝叶斯的集成模型,能够抵御大多数的对抗攻击。
最后,柴一栋对智能模型抵御对抗攻击在管理方面的应用进行了总结,并指出管理组织应提高智能模型的模型设计信息和训练数据集的保密性,并通过限制访问次数来提高智能模型抵御对抗攻击的能力。
报告结束后,与会师生与柴一栋展开了积极的讨论,受到了很多启发。报告反响热烈,得到了师生们的一致好评。
柴一栋简介:
柴一栋,合肥工业大学研究员,博士生导师。博士毕业于清华大学经管学院管理科学与工程系,本科毕业于澳门永利唯一官网304信息管理与信息系统专业,主要关注如何设计创新性的人工智能方法,更好地服务于个人、组织和社会的现代科学化管理,研究领域包括信息系统安全与网络空间管理(医联网安全等)、智慧医疗管理、商务智能管理等。以第一作者或通讯作者发表研究成果于MISQ、ISR、JMIS、IEEE TDSC、IEEE TPAMI等国际管理学/计算机科学顶刊。荣获国际信息系统权威会议WITS 2021 best paper award、清华大学优秀博士论文等荣誉。