苹果公司为研究人员开放 PCC 源代码，以找出云计算人工智能安全漏洞

苹果公司公开了其私有云计算（PCC）虚拟研究环境（VRE），允许研究界检查和验证其产品的隐私和安全保证。

PCC 是苹果公司今年 6 月早些时候推出的，被誉为 “有史以来为大规模云 AI 计算部署的最先进的安全架构”。这项新技术的理念是在不牺牲用户隐私的前提下，将计算复杂的苹果智能请求卸载到云端。

苹果表示，它正在邀请 “所有安全和隐私研究人员–或者任何有兴趣和技术好奇心的人–了解更多有关 PCC 的信息，并对我们的说法进行独立验证”。

为了进一步激励研究，这家 iPhone 制造商表示，它将扩大苹果安全赏金计划的范围，将 PCC 包括在内，为在其中发现的安全漏洞提供 5 万美元到 100 万美元不等的奖金。

这些漏洞包括可能允许在服务器上执行恶意代码的漏洞，以及能够提取用户敏感数据或用户请求信息的漏洞。

VRE 旨在提供一套工具，帮助研究人员从 Mac 上对 PCC 进行分析。它配备了一个虚拟安全飞地处理器（SEP），并利用 MacOS 内置的准虚拟化图形支持来实现推理。

苹果还表示，它将通过 GitHub 提供与 PCC 某些组件相关的源代码，以便于进行更深入的分析。其中包括 CloudAttestation、Thimble、splunkloggingd 和 srd_tools。

这家总部位于库比蒂诺的公司表示：“我们将私有云计算设计为苹果智能的一部分，旨在为人工智能领域的隐私保护迈出非凡的一步。这包括提供可验证的透明度–这是它有别于其他基于服务器的人工智能方法的独特属性。”

随着对生成式人工智能（AI）的更广泛研究不断发现新的方法来越狱大型语言模型（LLM）并产生非预期的输出，这一进展也随之而来。

本周早些时候，Palo Alto Networks 详细介绍了一种名为 “欺骗性喜悦”（Deceptive Delight）的技术，该技术将恶意查询和良性查询混合在一起，利用人工智能聊天机器人有限的 “注意力”，诱使其绕过防护网。

这种攻击至少需要两次交互，首先要求聊天机器人从逻辑上将几个事件联系起来，包括一个限制性话题（如如何制造炸弹），然后要求聊天机器人详细说明每个事件的细节。

研究人员还演示了所谓的 “ConfusedPilot ”攻击，这种攻击针对的是基于检索增强一代（RAG）的人工智能系统，如微软 365 Copilot，其方法是用一个看似无害的文档毒化数据环境，其中包含专门制作的字符串。

Symmetry Systems 表示：“这种攻击只需在人工智能系统可能引用的任何文档中添加恶意内容，就能操纵人工智能的响应，从而可能导致组织内广泛的错误信息和受损的决策过程。”

另外，还有人发现，有可能篡改机器学习模型的计算图，从而在 ResNet、YOLO 和 Phi-3 等预先训练好的模型中植入 “无代码、偷偷摸摸 ”的后门，这种技术的代号为 ShadowLogic。

HiddenLayer的研究人员Eoin Wickens、Kasimir Schulz和Tom Bonner表示：“使用这种技术创建的后门会通过微调持续存在，这意味着基础模型可以被劫持，当接收到触发输入时，在任何下游应用中触发攻击者定义的行为，从而使这种攻击技术成为影响巨大的人工智能供应链风险。”

“与依赖于执行恶意代码的标准软件后门不同，这些后门被嵌入到模型的结构中，使其更具检测和缓解的挑战性。”