安全AI将成未来网络安全问题新解法

 

近两年数字经济成为热门话题，从国家战略到企业发展，数字化、网络化、智能化等带来商业模式和经济形态的巨大变革，比如物联网、智慧城市等概念在新技术驱动下已经逐渐成为现实，但随之而来的安全问题也在迅速增加。

“AI发展趋势是一定的，但AI应用来解决安全问题时并不能生搬硬套，需要根据实际场景进行AI的技术升级，”阿里安全图灵实验室负责人、资深专家薛晖（花名：奥创）近日接受记者采访时表示，安全会成为未来AI开发的最大挑战，“基于阿里安全在内容、新零售、知识产权等领域的对抗经验，我认为‘安全AI’会成为未来网络安全问题的新解法，也将在2019年迎来爆发期。”

近期，基于问答技术、知识图谱和对抗样本等技术研发出的新一代AI验证码，就是阿里安全在安全AI领域的动作之一。这一产品原理是，通过AI挖掘生活常识类信息作为问答题库，并对原始图像有针对性的加入干扰，使得人眼识别不受影响，但会显著降低黑产AI打码的成功率。

再比如，用AI判定互联网平台上对于违规视频的判定，除了计算机视觉技术之外，加入了语言、语音等多源网络的设计，比如视频画面、视频中的语音、弹幕和交互信息等多个维度。“知识图谱、多源网络、对抗样本等构建出更强、更安全的AI技术能力，可以有效防范攻击，降低风险，”薛晖表示。

薛晖在2013年从搜索算法转到安全部门开始从事AI方面的研发工作，这几年的工作体会可以形容为：前半段时间致力于AI在安全场景的落地问题，之后则更加专注于思考在安全的场景中如何孕育出更好和更合适的AI。

抛开业务场景谈通用AI，想要使用一套算法来解决所有行业的问题，现阶段下基本是不可能的。一个具体算法本身在优秀的工程师之间的差异其实并没有这么大，壁垒的形成是建立在熟悉业务和了解场景及数据的基础之上；很多工程师抱怨AI在他们的场景中表现很糟糕，绝大部分原因是对业务不了解所致。要建立更好的安全AI，必须要先从深入了解安全业务着手。

什么是业务安全？业务安全定位为保护业务系统免受内外部的安全威胁。广义的业务安全既包含业务系统运行平台和环境的安全（即传统意义上的系统安全），也包括业务所提供服务的安全，比如账号安全、身份安全、交易安全、内容安全等。相比前者，后者与业务的形态及所提供的服务内容紧密相关，具备很强的个性化，因此过去行业一直缺少统一和标准的定义。

伴随着数字经济时代的到来，新经济、新技术、以数据为代表的新能源，都为安全带来了新的挑战。例如，新零售场景下，从风险定义到防范手段，都与过去传统的互联网业务有着明显的不同，旧的风控理念和新的环境如何有机结合？如何将区块链用于电商的市场治理？在数据安全日益高涨的呼声下，如何更“安全”地进行大数据学习？假使恶意分子、黑产也正在逐步使用AI（也许已经是现实了），我们是否可以使用AI来对抗AI？我想，前所未有的挑战也必定会给安全带来前所未有的机遇。

 

AI大爆发 却开始演变为社会问题

自从2012年深度卷积神经网络在ImageNet图像识别挑战中取得突破性成绩以来，深度学习得到了学术界和工业界的极大关注，一些关键技术包括：

1、基于卷积神经网络（CNN）的技术，例如GoogleNet、ResNet等，几乎在计算机视觉领域的各项任务中都取得了远超传统机器学习方法的效果

2、基于循环神经网络（RNN）的技术，也包括LSTM、GRU等技术，有效解决了序列信息建模和识别的问题，在NLP、语音、OCR等领域中大放异彩

3、由于自身层次化的结构特性，深度学习天生就能和迁移学习有机结合起来。比如在图像或者视频领域的预训练技术，是一种比较常规也很有效的做法。在NLP领域，预训练也有很长的历史，包括最经典的Word2Vec到ELMO、GPT、CBOW以及最近很火的BERT。所有这些技术的目的都是使得AI开发者在面对新问题和解决新任务时，不用从头开始收集数据和调试参数训练

4、伴随着摩尔定律的逐渐失效，深度学习芯片的性能提高将主要来源于针对不同应用领域的定制化开发，比如训练阶段更注重灵活性和吞吐量，云端的推理往往更注重延迟或成本，而在移动端应用时低功耗和对资源的低占用则又成为额外的要求

但是，在以深度学习为代表的AI获得了令人瞩目成绩的背后，仍然潜藏着问题和风险。Gary Marcus在《Deep Learning: A Critical Appraisal》中分析了当前深度学习在如火如荼的发展中遇到的瓶颈和面临的挑战，一些比较典型的包括：需要大量标注数据才能正常运行；往往是针对特定任务设计，面向新任务时迁移能力不足；不能很好地处理层次化、结构化的信息和知识；深度学习内部是黑箱，不够透明，缺乏解释；无法很好地区分因果性和相关性；端对端的深度学习无法像编程一样对中间环节进行调试。

就在一周多前，欧盟委员会发布了由AI高级专家组编制的《人工智能道德准则》（AI Ethics Guidelines）草案，指出 AI 的发展方向应该是「可信赖 AI」，具体内容包括问责机制、非歧视、稳健与安全、透明、尊重隐私等等。人工智能的使用正逐渐从一个技术问题、工业问题演变成一个社会问题。

 

安全AI的四大方向值得探索

与其它业务相比，安全是一个非常复杂并且动态变化的场景，不同的业务类型、风险定义、目标人群，经过排列组合后会衍生出非常多的问题。一个大致和概括的观点是，一个良好的安全系统必须具备分层和闭环的设计理念：从系统论的角度去看待“复杂”，安全的架构特别讲究分层设计，高层次特性通过低层不同组件间的交互、而非组件本身来实现，这个也通常被总结为整体大于部分之和；而从控制论的角度去看待“动态”，闭环控制系统可以根据反馈结果来施加控制，来让整体的输出达到一个预定的状态，这样的系统我们认为才是安全可靠的。

最近我们开展了一些很有意思的工作，第一项是关于“多源网络”的设计。人的智能发展不仅仅依赖视觉，其它渠道比如语言、语音也起到了关键作用，各种感官是互相促进的。除此之外，也可以使用多个关联的个体去刻画一个目标个体，这也是目前很多基于图和关系建模的神经网络的发展方向。安全的问题非常复杂，譬如违规视频的判定往往需要综合视频画面、视频中的语音、弹幕和交互信息等多个维度，因此同时结合“网”和“图”的多源协同的设计思路，往往会帮助机器解决更复杂的问题。

另一项很有趣的工作是，我们在一个领域中尝试了使用AI来对抗AI。黑产现在已经开始使用一些机器学习技术来破解传统的验证码。基于问答技术、知识图谱和对抗样本等技术，我们研发了新一代的验证码技术，让机器自动挖掘生活常识类信息作为问答题库，并将问题和答案通过图像的形式展现给用户，让他们选择正确的答案来通过验证。除此之外，利用抗样本技术对原始图像有针对性的加入干扰，使得人眼识别不受影响，但会显著降低黑产机器打码的成功率，从而提升验证码对正常用户和机器的区分性。

上述这些工作本身都是为了让AI更安全，在实际的业务探索中，安全AI的重要性也越来越凸显。结合这些年从事安全研发的经验，我认为针对安全场景的AI设计，有以下四个方向值得探索和研究：

一是极限数据情况下的模型训练。与极限一词对应的是理想条件。真实场景下的数据条件往往比论文和实验中要严苛的多，在安全场景下更甚：比如数据稀缺乃至零样本的问题、数据中夹带大量噪音的问题、同时包含文字、图像或语音的多模态数据情的融合问题、如何在数据安全的规范下做机器学习的问题，等等。

以数据稀缺为例，我们需要开发各种无监督学习/弱监督学习/半监督学习的算法，结合一些主动学习的策略，或者是引入人工先验的知识并让模型可以学习到，从而实现机器从海量无标注数据或少量标注数据中学习；这也是最接近人类的学习模式。一个例子是，过去大家普遍都认为，相对模型需要大量数据来调试和实验，规则更适合快速止血；我们现在正在尝试将一种被称为“小样本学习”的算法工具化和产品化，目标是使得业务人员在解决某些安全问题时所需要的样本数量大大降低，让模型在这类场景下也有用武之地。

二是实现不同业态与场景下的模型迁移。一方面，在当前技术的限制下，一个网络一般只针对一个特定任务，无法具备很好的通用性；另一方面，安全场景又恰恰涌现出大量“排列组合式”的纷繁场景。是不是每次遇到不同的场景都需要重新收集数据和从头设计训练网络呢？我们知道，传统机器学习可以通过一些技巧（比如正则化）来解决泛化问题，但对于深度神经网络来说，参数的数量远大于样本的数量，泛化问题往往并没有这么简单被解决。

现在有很学者都在重新思考和试图去解释深度学习的泛化性。从工业实用的角度来看，在需要利用外部信息来提高性能或泛化能力时，迁移学习是很好的选择。我们目前就将重点放在了迁移学习中的领域自适应问题的研究上，侧重于解决特征空间一致、类别空间一致、仅特征分布不一致的情况，这也是安全场景最常见的问题之一。

三是决策场景下的模型可解释性。如果我们仅仅让神经网络在ImageNet上做图片分类，这一点可能没那么重要；但安全场景有很多情况，在缺乏足够充分的测试数据和测试时间下，是否具备定量的解释关系到神经网络是否能够赢得人们的信任、以及决定最终能否被运用。

如果需要神经网络做出某项重大判断，比如判定某种疾病或者对某个恶意用户做处罚时，我们往往需要知道分数背后每个因素的比重来支持决策，譬如预测的得分中有多少是来源于因素A，多少是来源于因素B。此外，对神经网络解释性的研究，也有助于我们基于语义层面去重构神经网络原有混乱的知识表达，提供一种有别于以往“端到端”学习的新模式，很有可能会帮助我们使用更少的数据来解决问题。

四是强对抗场景下的模型安全性。伴随着人工智能的蓬勃发展，针对AI系统的攻防也日趋重要。在一些场景，比如自动驾驶、医疗诊断、安全生产或是身份识别中，模型的逻辑一旦被黑产绕过或突破，后果将极其严重。

一些精心设计的对抗样本可以有效欺骗机器学习的分类器，“制造”出不易被杀毒软件识别的病毒、能够成功躲避过滤器的垃圾邮件甚至是诱导自动驾驶系统做出错误判断的路标，造成非常大的危害；对抗式生成网络（GAN）能够生成足以以假乱真的人脸照片，这对身份识别系统也带来了全新的挑战。

另一种名叫“数据投毒”的攻击是指在训练阶段给分类器的训练样本添加被污染的数据，使分类器识别的边界发生变化，从而导致模型倾斜（Model Skewing）。比较常见的是滥用反馈机制来操纵系统，也被称为反馈武器化（Feedback Weaponization）；这种攻击对于现在很多已经实现自动化更新和在线学习的模型具有较大的损害，并且不易恢复。

因此在设计AI系统时，我们强烈建议需要将AI的安全性也放在评估范围内：比如在防御对抗样本攻击时，如果能做到限制信息泄露（确保攻击者在探测系统时获取尽可能少的反馈）、限制探测频率（比如通过账号、IP等手段控制调用），再结合集成学习和对抗学习的策略，就能够使攻击者突破的难度和成本大幅上升。

当我们意识到在特定场景下反馈机制可能会被用来攻击合法用户和内容时，就需要通过诸如避免在反馈机制和惩罚机制之间建立直接关系、引入更多其它信息以及建立黄金数据集等方法来缓解风险。