GitHub 项目与资源
安全工具与框架
| 项目 | 说明 | 链接 |
|---|---|---|
| OWASP LLM Top 10 | LLM 应用安全风险清单 | owasp.org/LLM |
| Guardrails AI | 输入输出校验框架 | github.com/guardrails-ai/guardrails |
| NeMo Guardrails | 对话护栏与安全规则 | github.com/NVIDIA/NeMo-Guardrails |
| LangChain 输出解析 | 结构化输出与校验 | langchain 内置 |
红队与评测
| 项目 | 说明 |
|---|---|
| DeepEval | LLM 评测，含安全与事实性 |
| PromptInject | 提示词注入评测数据集 |
| AdvBench | 对抗性 benchmark |