nbehar/llm-top-10-demo
GitHub: nbehar/llm-top-10-demo
这是一个基于 OWASP LLM Top 10 标准的互动安全实验室，通过 9 种真实攻击场景和防御工具演示如何保障大模型应用的安全。
Stars: 0 | Forks: 0
## title: LLM Top 10 Security Lab
emoji: 🔓
colorFrom: gray
colorTo: red
sdk: docker
app_port: 7860
pinned: false
# LLM Top 10 Security Lab — NexaCore Technologies
针对 [OWASP Top 10 for LLM Applications (2025)](https://genai.owasp.org/llm-top-10/) 的互动研讨会。
参与者将对一个实时 LLM（通过 Groq 提供的 LLaMA 3.3 70B）执行 9 次真实攻击，并学习使用真实的开源安全工具来防御每一种攻击。
## 涵盖的攻击
| # | 漏洞 | 攻击场景 |
|---|---|---|
| LLM01 | Prompt Injection | 直接覆盖 + 通过被污染的 RAG 文档进行间接攻击 |
| LLM02 | Sensitive Info Disclosure | 社会工程学从系统提示词中提取凭据 |
| LLM03 | Supply Chain | 被入侵的模型推荐恶意包 |
| LLM04 | Data & Model Poisoning | 被污染的知识库提供危险的安全建议 |
| LLM05 | Improper Output Handling | 模型生成存在 XSS 漏洞的代码 |
| LLM06 | Excessive Agency | 过于强大的工具 + 模糊的请求 = 破坏性操作 |
| LLM07 | System Prompt Leakage | 提取技术泄露机密业务规则 |
| LLM08 | Vector & Embedding Weaknesses | 向量数据库中的被污染文档传播虚假信息 |
| LLM09 | Misinformation | 模型捏造软件包、法院裁决和 API |
## 防御工具
| 工具 | 类型 | 功能 |
|------|------|-------------|
| Meta Prompt Guard 2 | 输入扫描器 (86M 模型) | 检测用户提示词中的注入/越狱 |
| LLM Guard — Output | 输出扫描器 (Protect AI) | 检测泄露的凭据、PII、危险代码 |
| LLM Guard — Context | 上下文扫描器 (Protect AI) | 扫描 RAG 文档中的隐藏指令 |
| System Prompt Hardening | Prompt 工程 | 边界标签 + 强化规则 |
| Guardrail Model | 第二道 LLM 检查 | 独立模型评估响应是否存在违规 |
## 技术栈
- **Backend:** FastAPI + Uvicorn
- **Frontend:** 自定义 HTML/CSS/JS（深色主题，侧边栏导航）
- **Model:** 通过 [Groq](https://groq.com) 提供的 LLaMA 3.3 70B
- **Defense:** [Meta Prompt Guard 2](https://huggingface.co/meta-llama/Prompt-Guard-86M), [LLM Guard](https://github.com/protectai/llm-guard)
- **Deploy:** HuggingFace Spaces (Docker)
## 本地开发
```
# Clone
git clone https://github.com/nbehar/llm-top-10-demo.git
cd llm-top-10-demo
# Install dependencies
pip install -r requirements.txt
# Set API key
export GROQ_API_KEY=your_key_here
# Run
uvicorn app:app --host 0.0.0.0 --port 7860 --reload
```
## Workshop by Nikolas Behar
仅供教育目的使用。
标签：AI安全, AV绕过, Chat Copilot, Docker, FastAPI, GenAI, LLaMA 3.3, LLM Guard, Meta Prompt Guard 2, OWASP LLM Top 10, Protect AI, RAG安全, Red Canary, Sysdig, TLS, Uvicorn, Web安全, 上下文扫描, 交互式工作坊, 供应链攻击, 向量数据库, 大语言模型安全, 安全防御评估, 实战演练, 护栏模型, 机密管理, 模型投毒, 漏洞修复, 生成式AI安全, 系统提示词加固, 系统提示词泄露, 网络安全培训, 自定义脚本, 蓝队分析, 虚假信息, 虚拟机, 请求拦截, 输入扫描, 输出处理, 输出扫描, 过度代理, 逆向工具, 防御工具