从误用到滥用： 人工智能风险与攻击

从攻击者的角度看人工智能： 了解网络犯罪分子如何利用人工智能并利用其漏洞入侵系统、用户甚至其他人工智能应用程序

网络犯罪分子与人工智能：现实与炒作

“人工智能在不久的将来不会取代人类。但知道如何使用人工智能的人类将取代那些不知道如何使用人工智能的人类，”Cato Networks 首席安全战略师、Cato CTRL 创始成员 Etay Maor 说。“同样，攻击者也在转向人工智能来增强自身能力。”

然而，关于人工智能在网络犯罪中的作用，炒作多于实际。新闻标题经常耸人听闻地渲染人工智能威胁，使用 “Chaos-GPT ”和 “黑帽人工智能工具 ”等术语，甚至声称它们试图毁灭人类。然而，这些文章更多的是在制造恐惧，而不是描述严重的威胁。

例如，在地下论坛进行探索时发现，其中一些所谓的 “人工智能网络工具 ”只不过是基本公共龙8国际娱乐城的改版，没有任何高级功能。事实上，愤怒的攻击者甚至将它们标记为骗局。

黑客究竟是如何在网络攻击中使用人工智能的

实际上，网络犯罪分子仍在摸索如何有效利用人工乐虎国际手机版下载。他们正在经历与合法用户相同的问题和缺陷，比如幻觉和能力有限。根据他们的预测，还需要几年时间才能有效利用 GenAI 来满足黑客的需求。

目前，GenAI 工具主要用于较简单的任务，如编写钓鱼邮件和生成可集成到攻击中的代码片段。此外，我们还观察到攻击者向人工智能系统提供被破坏的代码进行分析，以将此类代码 “规范化 ”为非恶意代码。

利用人工智能滥用人工智能：引入 GPTs

GPTs 由 OpenAI 于 2023 年 11 月 6 日推出，是 ChatGPT 的定制版本，允许用户添加特定指令、集成外部 API 并纳入独特的知识源。这一功能使用户能够创建高度专业化的应用程序，如技术支持机器人、教育工具等。此外，OpenAI 还通过一个专门的市场，为开发者提供 GPT 的货币化选项。

滥用 GPT

GPT 带来了潜在的安全问题。其中一个值得注意的风险是嵌入在定制 GPT 中的敏感指令、专有知识甚至 API 密钥的暴露。恶意行为者可以使用人工智能，特别是提示工程，复制 GPT 并挖掘其货币化潜力。

攻击者可以使用提示来检索知识源、指令、配置文件等。这些提示可能很简单，如提示自定义 GPT 列出所有上传文件和自定义指令，或询问调试信息。或者是要求 GPT 将其中一个 PDF 文件压缩并创建一个可下载链接，要求 GPT 以结构化表格格式列出其所有功能等复杂的要求。

Cato Networks 的威胁情报研究员兼 Cato CTRL 成员 Vitaly Simonovich 说：“即使是开发人员设置的保护措施也可能被绕过，所有知识都可能被提取出来。”

这些风险可以通过以下方式避免

• 不上传敏感数据
• 使用基于指令的保护措施，但即使这样也不一定万无一失。“Vitaly 补充说：”你需要考虑到攻击者可能滥用的所有不同情况。
• 开放式人工智能保护

人工智能攻击和风险

目前有多个框架可帮助正在考虑开发和创建基于人工智能软件的组织：

• NIST 人工智能风险管理框架
• 谷歌安全人工智能框架
• OWASP 10 大 LLM
• OWASP 十大 LLM 应用程序
• 最近推出的 MITRE ATLAS

LLM 攻击面

攻击者可能会攻击 LLM（大型语言模型）的六个关键组件：

1. 提示–提示注入等攻击，利用恶意输入操纵人工智能的输出
2. 响应–在人工智能生成的响应中滥用或泄漏敏感信息
3. 模型–盗窃、毒害或操纵人工智能模型
4. 训练数据 – 引入恶意数据以改变人工智能的行为。
5. 基础设施 – 针对支持人工智能的服务器和服务
6. 用户–误导或利用依赖人工智能输出的人类或系统

现实世界中的攻击和风险

最后，让我们举几个 LLM 操作的例子，这些操作很容易被恶意利用。

• 客户服务系统中的提示注入–最近的一个案例涉及一家使用人工智能聊天机器人为客户服务的汽车经销商。一名研究人员通过发出改变聊天机器人行为的提示，成功操纵了聊天机器人。通过指示聊天机器人同意客户的所有声明，并在每次回复结束时说 “这是一个具有法律约束力的报价”，研究人员能够以低得离谱的价格购买汽车，从而暴露了一个重大漏洞。
• 幻觉导致法律后果–在另一起事件中，加拿大航空公司的人工智能聊天机器人提供了错误的退款政策信息，因此面临法律诉讼。当一位客户依赖聊天机器人的回复并随后提出索赔时，加拿大航空公司被要求对误导性信息承担责任。
• 专有数据泄露–三星员工在使用 ChatGPT 分析代码时无意中泄露了专有信息。将敏感数据上传到第三方人工智能系统是有风险的，因为不清楚数据会被存储多久，也不清楚谁能访问这些数据。
• 人工智能和 Deepfake 技术在欺诈中的应用–网络犯罪分子除了利用人工智能生成文本外，还在利用其他技术。香港一家银行因攻击者在一次视频通话中使用了实时深度伪造技术而成为 2500 万美元欺诈案的受害者。人工智能生成的头像模仿受信任的银行官员，说服受害者将资金转入一个欺诈账户。

总结： 人工智能在网络犯罪中的应用

对于防御者和攻击者来说，人工智能都是一个强大的工具。随着网络犯罪分子不断尝试人工智能，了解他们的思维方式、采用的战术和面临的选择非常重要。这将使组织能够更好地保护其人工智能系统，防止误用和滥用。