TheSIG-king/llm-injection-detector
GitHub: TheSIG-king/llm-injection-detector
一个实时检测 prompt injection 和 jailbreak 攻击的 LLM 安全中间件，通过 embeddings 与分类器对用户输入进行良性与恶意分类，拦截威胁请求。
Stars: 0 | Forks: 0
# llm-injection-detector
用于 LLM 应用的实时 prompt injection 和 jailbreak 检测 middleware。
# 问题
基于 LLM 的应用程序面临着人工智能特有的漏洞。prompt injection 被列为 OWASP Top 10 for LLM Applications（2025 版，LLM01）的第一大威胁。一次成功的攻击可能会导致敏感数据泄露、绕过安全护栏或操纵应用程序的行为。
# 目标
构建一个防御性 middleware，将其插入用户与 LLM 之间，并实时将每个输入分类为良性或恶意——类似于 WAF，但专门针对 LLM。
# 涵盖的威胁
- 直接和间接 prompt injection (LLM01:2025)
- Jailbreak / 绕过安全护栏
- 系统 prompt 泄露 (LLM07:2025)
# 路线图
- [x] 第一阶段 — 数据集构建与分析
- [x] 第二阶段 — 基线检测器（embeddings + 分类器）
- [X] 第三阶段 — 实时 Middleware (API)
- [ ] 第四阶段 — 对抗性鲁棒性
- [ ] 第五阶段 — 打包、基准测试与演示
# 技术栈
Python · HuggingFace · scikit-learn / PyTorch · FastAPI
# 状态
开发中 — 学习项目 (2026-2028)
# 当前结果
基线检测器：`all-MiniLM-L6-v2` embeddings + 逻辑回归。
| 版本 | F1 (恶意) | 假阴性 | 备注 |
|---------|------------------|---------------|------|
| v1 | 0.94 | 27 | 检测到语域偏差 |
| v2 | 0.97 | 14 | 偏差修正后 |
**关键点：手动测试发现 v1 会拦截合法请求（如“write a cover letter”），这是由于良性数据集过于单一而导致的语域偏差。通过按类别重新平衡数据 (v2)，消除了这些假阳性并改善了所有评估指标。
# API
检测器通过 FastAPI 暴露 API：
- `POST /detect` — 分析文本并返回判定结果（良性/恶意 + 置信度）。
- `POST /chat` — 完整的 middleware：进行检测，然后拦截或将其转发给 LLM。
启动命令：`uvicorn app.main:app --reload`
交互式文档：`http://127.0.0.1:8000/docs`
标签：AI安全, AV绕过, Chat Copilot, DLL 劫持, FastAPI, 中间件, 凭据扫描, 大语言模型, 逆向工具