后门攻击

后门攻击,一般指通过毒化训练集的方式在由该数据集训练出的模型上植入后门,关于后门攻击的文章,在安全客上也有很多了,大家可以去了解详情。
对于一个完整的AI系统而言,最重要的两个组件就是数据和模型,做攻击是从这两门着手,所以我们在分析防御方案时,也分别从数据(样本)和模型两个角度进行研究。
联邦学习这几年比较火,它主要用于解决在不直接访问各种训练数据的情况下训练机器学习模型的问题,特别是对于数据隐私比较敏感的任务。
目前,图结构的数据被应用于各种安全敏感领域(例如恶意软件分析,内存取证,欺诈检测,药物发现等),而随着图神经网络的兴起,研究人员尝试将图神经网络应用于这类数据上实施分析,发现都能达到非常先进的水平。
AI系统中的确是存在后门攻击的,但是与传统的攻防对抗中的后门是截然不同的,传统的后门是代码编写的,被植入到计算机中;而AI系统中的后门不是由代码编写的,而是通过修改训练数据实现的。
数据中毒和后门攻击是通过恶意修改训练数据来操纵受害者的模型。
近日,国外媒体有安全人员爆出Python pip ssh-decorate被发现存在后门代码!对,又是pip污染。