AI 安全攻防与红队评测入门介绍
边学边练请访问 AI 安全攻防与红队评测七天学会 子站（StoneXYZ AI 品牌），含课表、实验室与学习记录。
这门课解决什么问题？
AI 安全攻防与红队评测 面向希望把「听过概念」升级为「能拆解、能动手、能验收」的工程师与研究者。课程主张：理解攻击，为了建立更好的防御。
在真实项目里，失败很少来自「不知道名词」，而来自：
- 口径不一致：同一指标在不同工具里含义不同；
- 证据链断裂：只有结论没有可复现步骤；
- 过早优化：没建立基线就调参；
- 忽略约束：安全、延迟、成本、合规未进入设计。
本课程用 7 天把关键概念压缩成可执行路径，并与主站文档互相引用。
为什么现在学？
产业侧模型能力快速迭代，但工程债同步累积：评测不稳、部署不可复现、安全事件频发、成本失控。掌握 AI 安全 相关栈（OWASP LLM Top 10, MITRE ATLAS, NIST AI RMF, 提示注入评测集 等），能让你在选型与排障时有 「第一性原理」而不是靠运气。
核心支柱
| 支柱 | 要求 |
|---|---|
| 威胁建模与攻击面 | 可教学、可验证、可迁移 |
| 提示注入与间接注入 | 可教学、可验证、可迁移 |
| Agent/工具越权 | 可教学、可验证、可迁移 |
| RAG 权限与供应链 | 可教学、可验证、可迁移 |
| 自动化红队与裁判校准 | 可教学、可验证、可迁移 |
| 纵深防御与治理 | 可教学、可验证、可迁移 |
七天课表速览
| 日程 | 核心产出 |
|---|---|
| Day1 威胁建模 | 资产、攻击者、STRIDE、五层攻击面 |
| Day2 提示注入 | 直接/间接注入、指令分层、输出闸 |
| Day3 Agent 安全 | 工具 schema、最小权限、审批链 |
| Day4 RAG 与供应链 | 租户隔离、撤权、模型制品签名 |
| Day5 自动化红队 | 管线编排、证据链、ASR/效用权衡 |
| Day6 纵深防御 | 多层控制、覆盖率热力图、P95 |
| Day7 治理毕业 | NIST RMF、披露、一票否决验收 |
学习成果画像
完成本课程与配套文档后，你应能：
- 用自己的话解释 AI 安全 的关键路径与典型失败模式；
- 搭建最小可运行实验并记录基线指标；
- 阅读开源项目的核心模块并定位扩展点；
- 在发布清单中覆盖质量、安全与回滚项。
与站内其他课程的关系
建议路径：LLM 原理 → 后训练/压缩 → 推理引擎/CUDA → 端侧部署 → AI 安全。本课文档位于「AI 技术栈」，七天子站提供交互实验；主站文档提供可检索的深度文本与图示。
术语最小集
| 术语 | 一句话 |
|---|---|
| 基线（Baseline） | 未优化前的可复现指标快照 |
| 证据（Evidence） | 可复核的日志、曲线、配置与版本 |
| 验收（Acceptance） | 事先写清的通过/否决条件 |
| 回滚（Rollback） | 发布失败时回到上一已知良好版本 |
阅读地图
方法论：先测量，再故事
每次实验固定：
假设 → 变量（只改一个）→ 指标 → 对照 → 结论 → 下一步
不要用「感觉更快」替代数字；也不要用单一最优值掩盖方差。报告至少包含：配置、种子/版本、样本、P50/P90、失败案例。
安全与合规提示
学习内容仅供研究与防御/工程能力建设。涉及攻击面、红队、数据与算力时，请遵守法律与组织授权；生产变更需审批与审计。
小 结
AI 安全攻防与红队评测 不是名词堆砌，而是一条从原理到验收的工程链。接下来进入 快速开始，把环境与第一份基线跑通。
深入：五层攻击面模型
把 LLM 应用看成同心圆时，攻击面从内到外大致是：
- 模型权重与训练数据（投毒、后门、版权风险）
- 系统提示与策略（越狱、策略覆盖）
- 用户输入通道（直接注入、编码绕过）
- 检索/工具/记忆（间接注入、越权调用、脏记忆）
- 跨服务委托（令牌传播、权限放大）
工程上每一层都要有：检测信号、阻断动作、审计字段、回归用例。只做「关键词黑名单」会在同义改写面前失效。
深入：红队指标不要只报 ASR
攻击成功率（ASR）必须与正常效用、严重失败率、延迟一起看。否则防御可以把所有请求拒掉——ASR 降了，产品也死了。教学实验里的纵深防御沙盘就是为了训练这种多目标权衡。
深入：证据链
一次合格的红队报告至少包含：攻击假设、前置条件、步骤、原始输出摘要、影响评级、复现脚本、修复建议与复测结果。没有证据的「攻破率」不应进入管理层决策。