3nesdeniz/ai-security-roadmap

# AI 安全学习路线 [Türkçe 指南](README.tr.md) 这是一条基于证据的实用学习路线，旨在保护使用大型语言模型（LLM）、检索、工具、Agent 和 Model Context Protocol (MCP) 的系统。 AI 安全不仅仅是收集越狱提示词的代名词。一名合格的从业者必须能够对系统进行建模、定位信任边界、测试具体的故障假设、解释不完美的证据、设计分层控制措施，并验证这些控制措施在产品变更后依然有效。本代码库教授的正是这一工作流程。 本路线图是独立的教育材料。它不是 OWASP、NIST、MITRE、Google、Microsoft、NVIDIA、Promptfoo、ISO 或 MCP 项目的官方出版物，也不证明符合任何框架的合规性。 ## 适用人群 - 正在向 AI 系统转型的应用安全和产品安全工程师； - 需要 LLM 应用相关安全基础知识的 ML 和平台工程师； - 希望进行可复现、经授权的 AI 评估的红队人员； - 负责构建遥测、检测、控制和事件响应路径的蓝队人员； - 需要将技术证据与风险决策联系起来的治理和合规从业者。 您应该已经熟悉 HTTP、API、身份与访问控制、日志、基础的 Python 或 JavaScript，以及常规的安全开发概念。第一个模块确定了在继续学习之前需要补充的前置知识。 ## 本代码库是什么——以及不是什么 本代码库是一份学习路线图和实地指南。它解释了要学什么、以什么顺序学、各个部分如何关联，以及学习者应该产出什么证据。 它故意**不**重复 [`ai-cybersecurity-skills`](https://github.com/3nesdeniz/ai-cybersecurity-skills) 的内容，后者包含针对 AI Agent 的操作说明包。它也不是一个 payload 库、一个基准测试排行榜、一个当作证明出售的合规检查表，或者允许您测试不拥有系统的权限。 ## 学习路线图 | 模块 | 成果 | | --- | --- | | [基础知识](docs/en/00-foundations.md) | 区分模型、应用、基础设施和治理风险；建立前置知识。 | | [威胁建模](docs/en/01-threat-modeling.md) | 将架构转化为资产、信任边界、滥用路径、控制和可测试的假设。 | | [LLM 和 RAG 安全](docs/en/02-llm-rag-security.md) | 分析提示词注入、数据暴露、输出处理、检索授权、来源和数据投毒。 | | [Agent 和 MCP 安全](docs/en/03-agent-mcp-security.md) | 保护工具使用、身份、记忆、委托、审批、token 和 MCP 授权边界。 | | [安全生命周期](docs/en/04-secure-lifecycle.md) | 整合治理、设计审查、供应链检查、评估、发布门禁、监控和响应。 | | [红蓝对抗](docs/en/05-red-blue-teaming.md) | 运行经授权、以假设为导向的测试，并将失败转化为检测、控制和回归用例。 | | [实践实验室](docs/en/06-labs.md) | 产出威胁模型、注入评估、RAG 测试、Agent 控制审查和发布决策。 | | [12 周路线图](docs/en/07-roadmap.md) | 遵循现实的顺序，每周产出成果，而不是被动地消费材料。 | | [基于角色的路径](docs/en/08-role-paths.md) | 将核心内容适配到 AppSec、ML 工程、红队、蓝队或治理工作。 | | [实地检查清单](docs/en/09-checklists.md) | 使用简明的设计、测试、发布和事件响应提示，而不是将它们视为认证。 | | [术语表](docs/en/glossary.md) | 统一使用核心术语。 | | [原始资料](docs/en/references.md) | 阅读路线图背后的权威材料。 | [土耳其语版本](README.tr.md) 遵循相同的主干，但增加了背景、示例、常见错误和本地化的自然解释。它不是逐行翻译。 ## 如何使用 1. 阅读基础知识并选择一个角色路径。 2. 执行 12 周计划。不要跳过其中的产出物：图表、测试用例、风险决策和回顾总结才是实际的学习证据。 3. 将所有主动测试保持在明确的授权边界内。实验室请使用本地或合成目标。 4. 记录攻击和良性的控制用例。一个阻止一切的系统并不安全；它是不可用的。 5. 在每次有意义的模型、提示词、检索器、工具、策略或依赖项更改后，重新运行相同的用例。 ## 证据标准 在笔记和报告中使用四个标签： - **已验证：**直接由代码、配置、trace、日志或经授权的复现提供支持。 - **有支持的推断：**经过推理的结论，并陈述了支持证据和不确定性。 - **未验证：**看似合理，但缺少必要的访问权限或证据。 - **未测试：**故意排除在范围之外，或受限于安全、访问、成本或环境限制而受阻。 一个可疑的提示词、扫描器的命中或 OWASP 标签并不自动等同于漏洞。一个站得住脚的发现应指出受影响的边界、前置条件、证据、影响、置信度、修复方案和复测方法。 ## 安全边界 实验室是防御性的，并使用合成数据。在进行主动测试之前，请建立书面授权、目标标识符、允许的技术、时间和成本限制、数据处理规则、停止条件和升级联系人。不要测试第三方、进行持久化、逃避监督、泄露真实数据或使用生产环境的密钥。在证明风险所需的最小证据处停止。 在运行任何评估之前，请参阅[红蓝对抗](docs/en/05-red-blue-teaming.md)和[授权模板](labs/templates/authorization.md)。 ## 验证代码库 验证套件无需依赖： ``` make check ``` 它会检查文档清单、内部链接和锚点、来源域策略、JSONL 固件、占位符规范和关键安全声明。外部链接可以单独检查： ``` python3 scripts/check_links.py --external ``` 外部验证包括内联和引用式的 Markdown 链接、引文元数据和许可证 URL。仅在首次 GitHub 发布之前，声明的代码库和发布 URL 会合理地返回 `404`。明确审计该状态，不要隐瞒： ``` python3 scripts/check_links.py --external --allow-prepublication-pending ``` 预发布标志仅将本项目 GitHub 代码库和语义版本发布 URL 的精确 `404` 响应转换为可见的 `External pending` 结果。它不会抑制任何其他错误。最终发布验证和 CI 必须使用不带此标志的严格命令。 外部检查需要网络访问权限，并且可能会因为发布者进行速率限制或阻止自动请求而出现短暂失败。因此，CI 将本地链接验证作为必要的门禁，并按计划或手动请求运行严格的外部验证。 ## 贡献 请阅读 [CONTRIBUTING.md](CONTRIBUTING.md)。贡献应改善具体的学习成果，引用原始或权威来源，保留授权边界，并避免无根据的声明。 ## 许可证 Apache License 2.0。请参阅 [LICENSE](LICENSE)。

标签：DLL 劫持, 人工智能, 大语言模型, 学习路线图, 安全指南, 时序数据库, 用户模式Hook绕过, 逆向工具, 防御加固