腾讯发布业内首个AI安全攻击矩阵

腾讯发布业内首个AI安全攻击矩阵

如果说模型误判是对 AI 系统攻击，那么信息泄露就是对 AI 系统的窃取。这种攻击可导致模型功能被第三方还原，造成用户隐私的泄漏、公司信息资产被窃取等巨大危害。

但是在这种场景下，训练者依然有可能窃取数据端的内容。此外，如果项目成果以模型的方式交付，攻击者也有可能基于所得模型逆向恢复出训练数据，引发隐私危机。在考虑模型性能的同时，技术人员与用户也要对 AI 系统自身的安全有所考虑，确保 AI 模型在业务场景下的安全性，从而避免被攻击者轻易控制、影响、或欺骗，也避免造成结果误判或隐私数据泄漏等严重后果。 9 月 25 日，腾讯发布业内首个 AI 安全攻击矩阵。这是一份具有高实用性的 AI 安全技术指导框架，首次全面梳理了学术及工业界最前沿的 AI 安全研究，并从攻击者视角系统列举了 AI 技术研发部署各个环节中的攻击过程与技术实现手段，可帮助 AI 从业者快速了解全生命周期下 AI 系统的风险点与对应缓解方法，为 AI 系统的安全部署和应用落地提供重要的技术参考。

图｜AI 安全的威胁风险矩阵（来源：腾讯）

据了解，该矩阵由腾讯两大实验室腾讯 AI lab 和朱雀实验室联合编纂，并借鉴了网络攻防领域中成熟度高、实战意义强的开源安全研究框架 ATT&CK，全面分析了攻击者视角下的战术、技术和流程，能帮助防御者更精准地掌握安全响应方法与防御措施。相比从单一角度研究算法的安全问题，该矩阵的实用价值和参考意义更高。

该 AI 安全的威胁风险矩阵，不仅强调真实场景，还按照较成熟、研究中、潜在威胁三种成熟度直观地将攻击技术分类。据腾讯 AI Lab 介绍，矩阵编撰的核心难点在于如何选取和梳理 AI 系统安全问题的分析角度。

作为一种与其他软硬件结合运作的应用程序，AI 系统安全的分析切入角度与传统互联网产品并不完全一致。经过充分调研，该团队最终从 AI 研发部署生命周期的角度切入，总结归纳出 AI 系统在不同阶段所面临的安全风险，从全局视角来审视 AI 的自身安全。

在上述思想的指导下，该矩阵能够像字典一样便捷使用。研究人员和开发人员根据 AI 部署运营的基本情况，可对照风险矩阵，来排查潜在安全问题，并根据推荐的防御建议，降低已知的安全风险。

图｜攻击者的入侵手段示意图（来源：腾讯）

-End-

原文标题：腾讯发布业内首个AI安全攻击矩阵，可像查字典一样排查风险

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。