如何对抗神一样的人工智能-安全KER

“你为什么要和人工智能对着干？你们安全人员为什么不能拥抱人工智能？能不能不吓唬人？”

我们发布深度学习系统中的威胁和攻击演示后，这是一个出乎意料，但又常被问到的问题。

当时我脑海闪过的是电影《终结者 I》中的场景：莎拉康纳被凶猛的T800追杀。施瓦辛格扮演的T800 智能机器人不仅仅有人脸识别技术，还有地图和大数据信息，而且还基本上打不死。这是人工智能追杀人类的经典例子。在电影世界里，康纳需要对抗人工智能（The Terminator 系列），甚至复制人都需要抵抗智能的银翼杀手（BladeRunner 系列）… 对抗人工智能一直是我们对未来生活想象的一部分，而且一直是正义的需求。

跟PR打过几次交道的我，决定把这个回答咽到肚子里。

这个问题需要写文字来回答。

为什么要对抗人工智能

关于为什么要研究人工智能系统里的安全问题，我们在 ISC 2017 大会的时候给过一个冠冕堂皇的回答 —— “因为黑产在用人工智能”。

当深度学习作为一种日益大众化的技术手段，对技术采用的门槛自然会降低，所以人工智能技术不仅仅可以推动自动驾驶，人脸识别，也可以被用来刷帖和破解图片验证码，甚至会被用来收集特定目标信息，精准钓鱼攻击用户，包括你和我。对行之有效的技术，黑产肯花钱，而且往往出的价钱超过互联网公司对相应技术的投入。攻防有太多的不对称，这里不再赘述。

用个极端的例子，比如用无人机带着微型炸药来追杀你，它有你过去的行踪轨迹，并会在引爆之前对目标进行人脸识别。要不要对抗？这不是科幻，这是2017年已经被展示过的现实。

当你被人工智能追杀的是时候，对抗人工智能是生存的需求。从这个角度看，在网络空间中，安全人员研究人工智能的安全问题是名正言顺的，

对抗人工智能的另一个原因

聊完科幻之后，我们看看现实。如果你被“杀人无人机”吓到的话，现实其实并没有那么可怕。

作为一个安全人员，我看到的情况挺拧巴的。

一方面我们总听到神一样的深度学习算法，它催发了大量新型应用，从人脸识别到自动驾驶。各种应用, 从手机登录到移动支付，谁家不添加一个人工智能功能，谁好像就被留在石器时代了。

另一方面，安全圈里经常看到的是类似 “某平台人脸识别惊现重大漏洞” 这样的新闻，或者安全人员用两张纸就可以绕过人脸识别登录，还有用胶带和导电笔可以破解指纹识别的。用360团队的例子 — 安全人员可以让著名的图片识别程序把羊的图片认成狼，或者把狼认成羊。被测试目标程序使用的是谷歌团队的深度学习模型加上 ImageNet 中最强大的数据！

在这个矛盾的世界里，当深度学习浪潮让众多年轻人冲到人工智能这块工地上搬砖的时候，我觉得安全研究人员有义务提醒大家：别忘带安全帽。人工智能技术也许可以把一个应用加速建成一座美妙的楼阁，但安全也是应用的一个基石，否则高空作业的同学可能需要配备降落伞。

所以研究对抗人工智能技术也是研究一种保护手段，避免一个顶着人工智能光环的应用被用户轻易愚弄。

风险的源头

为什么会出现智能系统很弱智地被轻易破解或绕过？难道我们不应该拥抱深度学习引领的这场技术革命吗？

说一个自己的亲身经历：最近有机会和一个顶级人工智能专家交流 — 顶级是指在ImageNet夺冠N次这个级别的人工智能专家。当我们展示用降维攻击导致深度学习系统识别出错的时候，人工智能专家立刻反应说：“这不是我们人工智能的错”。同样，当我们告知一个著名深度学习框架作者，框架的数据处理层有bug, 因为没有对一个库调用做返回值检查，回答是：“这个库应该确保返回值正常，不是我们的错”。

作为搞安全的老司机，这些回答我不吃惊，而且听起来特别熟悉。

你跟一个搞数据库的讲说他们的软件有SQL注入漏洞，回答往往是 — “这不是我们搞数据库的问题”；你跟一个服务端开发人员说他写的软件有控制流劫持漏洞，回答是 — “我们客户端（浏览器）做了输入限制，你提供的输入是不可能的，这不是我们的错。”

安全人员听着耳熟吧？回答没毛病。

可是安全漏洞摆在那里，非要到展示PoC 或到黑产窃取了用户信息被曝光之后才是毛病？

用两张纸就可以绕过的人脸识别没毛病吗？如果自动驾驶是在这种氛围里开发的，我们该不该上车？

一个算法在实验环境中，在众多假设条件下有精彩的结果当然是好事情。但做一个被广大用户所使用的应用会遇到很多挑战。所以在新的应用发布的时候，请不要只看到搞图像语音识别的同学在前台意气风发，大谈人工智能；你很可能需要抚慰一下在后面灰着脸搭系统和做实现的同学。