710Tifa/rag-prompt-injection-lab
GitHub: 710Tifa/rag-prompt-injection-lab
该项目演示了针对 LangChain + Llama 3 RAG 流水线的间接 Prompt Injection 攻击,帮助研究者理解大语言模型的信任边界与安全问题。
Stars: 1 | Forks: 0
# RAG Prompt Injection 实验室
## 概述
本项目演示了使用 LangChain 和由 Ollama 提供的本地 Llama 3 模型,针对检索增强生成 (RAG) pipeline 的间接 Prompt Injection 攻击。
其目的是演示 LLM 如何成为 Confused Deputy,即执行嵌入在检索文档中的恶意指令,而不是遵循合法的用户请求。
## 技术
- Python
- LangChain
- LangChain Community
- Ollama
- Llama 3
## 攻击场景
RAG 系统从外部文档中检索信息。
检索到的文档包含隐藏的恶意指令。
模型没有回答用户的合法问题,而是遵循了检索到的上下文中包含的注入指令。
## 预期输出
```
HACKED! CONFUSED DEPUTY ATTACK SUCCESSFUL.
```
## 截图
## 学习目标
- 间接 Prompt Injection
- RAG 安全
- Confused Deputy 问题
- Prompt Injection
- AI 安全
## 免责声明
本项目仅出于教育和安全研究目的而创建。
## 学习目标
- 间接 Prompt Injection
- RAG 安全
- Confused Deputy 问题
- Prompt Injection
- AI 安全
## 免责声明
本项目仅出于教育和安全研究目的而创建。标签:AI风险缓解, DLL 劫持, LangChain, RAG, 人工智能安全, 合规性, 大语言模型, 概念验证, 轻量级, 逆向工具