思科发布人工智能防御系统，抵御模型安全风险

人工智能模型的引入带来了与模型毒性相关的安全风险，以及与及时注入攻击相关的幻觉和安全风险。思科执行副总裁兼首席产品官杰图-帕特尔（Jeetu Patel）表示，企业必须持续验证人工智能模型，以确保它们在各种场景下都能按照预期执行，尤其是在对其进行微调或接触新数据时。

他说：“算法红队能够以前所未有的规模进行测试，以确保模型在各种条件下都是稳健的，而且在通过验证发现漏洞后，还可以实施防护措施，以防止类似故障的发生（参见：思科通过购买稳健智能加强人工智能安全）。”

“你需要对模型持续进行某种验证，”帕特尔说。“每一次对模型进行微调–每一次对模型进行调整–模型都会根据新的数据进行训练，而这些数据实际上有可能改变模型的行为。”

在与信息安全媒体集团（Information Security Media Group）的视频访谈中，帕特尔还讨论了以下问题：

• 思科如何利用人工智能驱动的工具来提高运营效率和降低风险；
• 人工智能防御平台如何与思科更广泛的安全框架集成；
• 收购 Robust Intelligence 如何增强思科的人工智能安全能力。

帕特尔自今年 8 月起担任思科首席产品官，此前他曾在思科安全和协作业务部门任职四年。他曾领导 Box 的产品和平台战略，为公司制定了云内容管理的长期愿景和路线图。他还曾担任 EMC Syncplicity 业务部总经理兼首席执行官，该业务部是一个文件同步共享和协作云服务部门。