TerminalsandCoffee/AI-Security-Architecture
GitHub: TerminalsandCoffee/AI-Security-Architecture
面向LLM驱动系统的安全防护实用指南，涵盖威胁建模、攻击技术、安全设计模式及参考架构。
Stars: 0 | Forks: 0
# AI 安全架构
一本针对 LLM 驱动系统安全防护的实用指南。内容涵盖 AI 威胁态势、攻击技术、安全设计模式及参考架构 — 专为安全专业人员、开发人员和架构师编写。无需博士学位。
## 目标读者
- **安全专业人员**，希望拓展至 AI 安全领域（SOC 分析师、渗透测试人员、GRC）
- **开发人员和架构师**，正在构建 LLM 驱动的应用程序
- **IT 领导者**，需要了解 AI 风险以进行治理和制定策略
- **寻求转型的职场人士**，目标锁定 AI 安全领域
**前置条件：** 具备基础的 IT 或安全知识。无需 AI/ML 经验。
## 学习目标
1. 从识别和缓解安全风险所需的层面理解 LLM 的工作原理
2. 使用 STRIDE 和 OWASP LLM 应用 Top 10 对 AI 系统进行威胁建模
3. 识别并防御提示注入 (Prompt Injection)、越狱 (Jailbreaks) 和数据泄露
4. 设计包含信任边界、输入验证和防护栏 (Guardrails) 的安全 AI 架构
5. 评估 AI 供应链风险 — 模型来源、依赖项、训练流水线
6. 将四种参考架构模式应用于实际部署
7. 制定 30/60/90 天 AI 安全计划
## 目录
### 章节
| # | 章节 | 主题 |
|---|---|---|
| 1 | AI 安全态势 | AI/ML/LLM 定义、攻击面概述、职业机会 |
| 2 | LLM 工作原理 | Token、上下文窗口、温度、推理流水线、信任边界 |
| 3 | AI 系统威胁建模 | OWASP LLM Top 10 (2025)、面向 AI 的 STRIDE、数据流图 |
| 4 | 提示注入 | 直接/间接注入、编码绕过、6 种防御模式、双 LLM 架构 |
| 5 | 越狱与防护栏绕过 | 6 类越狱手段、5 层防护栏架构、监控信号 |
| 6 | 数据泄露与隐私 | 训练数据提取、PII 流向、隐私设计、GDPR/AI Act |
| 7 | 安全 AI 系统设计 | 输入验证、输出过滤、防护栏代理、速率限制、日志记录 |
| 8 | AI 供应链安全 | 模型来源、Pickle 风险、AI SBOM、流水线加固 |
| 9 | 参考架构 | LLM Gateway、安全 RAG、安全 AI Agent、多模型编排 |
| 10 | 构建 AI 安全计划 | 风险评估、治理、红队演练、30/60/90 天计划 |
### 附录
- **附录 A** — AI 安全速查表（威胁 + 缓解措施表、决策检查清单）
- **附录 B** — 工具与资源（Garak, PyRIT, ModelScan, OWASP, NIST AI RMF, MITRE ATLAS）
- **附录 C** — 术语表（40 个关键术语及其通俗易懂的定义）
### 实战练习
| # | 练习 | 难度 |
|---|---|---|
| 1 | 威胁建模：客服聊天机器人 | 初级 |
| 2 | 提示注入实验 (Python，无需 API 密钥) | 初级-中级 |
| 3 | 架构设计评审 — 找出 10 个问题 | 中级 |
| 4 | AI 供应链审计 | 初级-中级 |
| 5 | 架构挑战 — 从零设计 | 中级-高级 |
## 项目结构
```
AI Security Architecture/
├── README.md
├── outline.md # Full table of contents
├── build.py # Markdown -> PDF build script
├── style.css # PDF styling (security teal theme)
├── content/ # Chapters + appendices (Markdown)
│ ├── chapter-01 ... 10
│ ├── appendix-a ... c
├── exercises/ # Hands-on exercises with solutions
│ ├── exercise-01 ... 05
├── assets/ # Diagrams (if needed)
└── export/ # Generated PDFs
```
## 构建 PDF
```
pip install markdown playwright
playwright install chromium
python build.py # Build PDF
python build.py --html # Also save intermediate HTML
```
输出：`export/AI-Security-Architecture-Guide.pdf`
## 引用的关键框架
- [OWASP LLM 应用 Top 10](https://owasp.org/www-project-top-10-for-large-language-model-applications/)
- [NIST AI 风险管理框架](https://www.nist.gov/itl/ai-risk-management-framework)
- [MITRE ATLAS](https://atlas.mitre.org/)
- [欧盟 AI 法案](https://artificialintelligenceact.eu/)
## 许可证
保留所有权利。此内容未授权分发。
## 作者
由 [@TerminalsandCoffee](https://github.com/TerminalsandCoffee) 构建
## 目标读者
- **安全专业人员**，希望拓展至 AI 安全领域（SOC 分析师、渗透测试人员、GRC）
- **开发人员和架构师**，正在构建 LLM 驱动的应用程序
- **IT 领导者**，需要了解 AI 风险以进行治理和制定策略
- **寻求转型的职场人士**，目标锁定 AI 安全领域
**前置条件：** 具备基础的 IT 或安全知识。无需 AI/ML 经验。
## 学习目标
1. 从识别和缓解安全风险所需的层面理解 LLM 的工作原理
2. 使用 STRIDE 和 OWASP LLM 应用 Top 10 对 AI 系统进行威胁建模
3. 识别并防御提示注入 (Prompt Injection)、越狱 (Jailbreaks) 和数据泄露
4. 设计包含信任边界、输入验证和防护栏 (Guardrails) 的安全 AI 架构
5. 评估 AI 供应链风险 — 模型来源、依赖项、训练流水线
6. 将四种参考架构模式应用于实际部署
7. 制定 30/60/90 天 AI 安全计划
## 目录
### 章节
| # | 章节 | 主题 |
|---|---|---|
| 1 | AI 安全态势 | AI/ML/LLM 定义、攻击面概述、职业机会 |
| 2 | LLM 工作原理 | Token、上下文窗口、温度、推理流水线、信任边界 |
| 3 | AI 系统威胁建模 | OWASP LLM Top 10 (2025)、面向 AI 的 STRIDE、数据流图 |
| 4 | 提示注入 | 直接/间接注入、编码绕过、6 种防御模式、双 LLM 架构 |
| 5 | 越狱与防护栏绕过 | 6 类越狱手段、5 层防护栏架构、监控信号 |
| 6 | 数据泄露与隐私 | 训练数据提取、PII 流向、隐私设计、GDPR/AI Act |
| 7 | 安全 AI 系统设计 | 输入验证、输出过滤、防护栏代理、速率限制、日志记录 |
| 8 | AI 供应链安全 | 模型来源、Pickle 风险、AI SBOM、流水线加固 |
| 9 | 参考架构 | LLM Gateway、安全 RAG、安全 AI Agent、多模型编排 |
| 10 | 构建 AI 安全计划 | 风险评估、治理、红队演练、30/60/90 天计划 |
### 附录
- **附录 A** — AI 安全速查表（威胁 + 缓解措施表、决策检查清单）
- **附录 B** — 工具与资源（Garak, PyRIT, ModelScan, OWASP, NIST AI RMF, MITRE ATLAS）
- **附录 C** — 术语表（40 个关键术语及其通俗易懂的定义）
### 实战练习
| # | 练习 | 难度 |
|---|---|---|
| 1 | 威胁建模：客服聊天机器人 | 初级 |
| 2 | 提示注入实验 (Python，无需 API 密钥) | 初级-中级 |
| 3 | 架构设计评审 — 找出 10 个问题 | 中级 |
| 4 | AI 供应链审计 | 初级-中级 |
| 5 | 架构挑战 — 从零设计 | 中级-高级 |
## 项目结构
```
AI Security Architecture/
├── README.md
├── outline.md # Full table of contents
├── build.py # Markdown -> PDF build script
├── style.css # PDF styling (security teal theme)
├── content/ # Chapters + appendices (Markdown)
│ ├── chapter-01 ... 10
│ ├── appendix-a ... c
├── exercises/ # Hands-on exercises with solutions
│ ├── exercise-01 ... 05
├── assets/ # Diagrams (if needed)
└── export/ # Generated PDFs
```
## 构建 PDF
```
pip install markdown playwright
playwright install chromium
python build.py # Build PDF
python build.py --html # Also save intermediate HTML
```
输出：`export/AI-Security-Architecture-Guide.pdf`
## 引用的关键框架
- [OWASP LLM 应用 Top 10](https://owasp.org/www-project-top-10-for-large-language-model-applications/)
- [NIST AI 风险管理框架](https://www.nist.gov/itl/ai-risk-management-framework)
- [MITRE ATLAS](https://atlas.mitre.org/)
- [欧盟 AI 法案](https://artificialintelligenceact.eu/)
## 许可证
保留所有权利。此内容未授权分发。
## 作者
由 [@TerminalsandCoffee](https://github.com/TerminalsandCoffee) 构建标签：AI供应链安全, Apex, CISA项目, DevSecOps, DLL 劫持, DNS 反向解析, OWASP Top 10, 上游代理, 人工智能安全, 参考架构, 合规性, 合规治理, 大语言模型, 威胁建模, 安全防御模式, 护栏机制, 数据隐私, 机器学习, 特征检测, 系统架构设计, 网络安全指南, 逆向工具, 防御加固