Pangea 推出了一套全面的 AI 安全工具,旨在保护 AI 应用程序免受及时注入和数据泄露等威胁。
新推出的 AI Guard 和 Prompt Guard 产品旨在保护 AI,作为 Pangea 更广泛产品的一部分,包括 AI 访问控制和 AI 可见性。这套工具旨在解决与大型语言模型 (LLM) 与用户数据和敏感信息集成相关的风险。
Pangea 首席执行官兼创始人 Oliver Friedrichs 表示:“随着公司竞相通过 RAG 和代理框架构建和部署 AI 应用程序,将 LLM 与用户和敏感数据集成会带来巨大的安全风险。“每天都有新的攻击出现,需要同样快速地推出对策。作为网络安全行业久经考验且值得信赖的合作伙伴,Pangea 不断识别并应对新的生成式 AI 威胁,以免造成伤害。
Mandiant 的创始人兼 Ballistic Ventures 的战略合作伙伴 Kevin Mandia 也评论了这些安全措施的重要性。他评论道:“我亲眼目睹了如果不加以控制,计算机系统中的漏洞如何导致对现实世界的破坏性影响。AI 的自主行动潜力可能会放大这些后果。Pangea 的安全护栏借鉴了数十年的网络安全专业知识,为构建 AI 软件的组织提供必要的防御。
Pangea AI Guard 致力于避免敏感数据泄露并阻止有害内容,采用十多种检测技术来审查 AI 交互。其中包括对 50 多种机密和个人身份信息的分析,以及来自 Crowdstrike、DomainTools 和 ReversingLabs 等合作伙伴的威胁情报。该系统能够编辑、阻止或解除有害内容,并具有维护数据库格式的格式保留加密功能。
此外,Pangea Prompt Guard 会检查用户和系统提示,以防止越狱尝试和违反组织限制。通过细致的深度防御方法,它使用启发式、分类器和自定义训练的大型语言模型来识别即时注入攻击,在检测令牌走私和替代语言攻击等技术方面实现了超过 99% 的效率。
Grand Canyon Education 实施了 Pangea 的解决方案来保护其内部 AI 聊天机器人平台。“我喜欢 Pangea 的一点是,我可以为开发人员提供开箱即用的以 API 为中心的解决方案,以机器速度自动编辑敏感信息,而不会对最终用户产生任何影响或用户体验改变,”Grand Canyon Education 首席信息安全官 Mike Manrod 说。“如果你试图在 AI 周围设置围栏来阻止它的使用,人们会找到解决方法,因此我们与 Pangea 一起创建了一条阻力最小的路径,使安全的 AI 软件开发成为一个简单而明显的选择。”
GV 的普通合伙人 Karim Faris 指出了 Pangea 新产品的重要性,尤其是在解决 LLM 应用的 OWASP 十大风险方面。“该团队对 LLM 应用程序的 OWASP 十大风险采取了全面的方法,并在安全创新方面建立了专业知识,包括创建 SOAR。我们对 Pangea 的未来非常乐观,“他说。
“The Great AI Escape”虚拟密室逃脱挑战赛的推出旨在说明生成式 AI 安全威胁的复杂性。该在线竞赛包括三个虚拟密室逃脱,参与者必须使用提示工程技术来绕过 AI 房间主管的控制。Pangea 坚持其对推进 AI 安全标准的承诺,为密室逃脱的高分参赛者设定了 10,000 美元的总奖金。
发表评论
您还未登录,请先登录。
登录