710Tifa/rag-prompt-injection-lab

GitHub: 710Tifa/rag-prompt-injection-lab

该项目演示了针对 LangChain + Llama 3 RAG 流水线的间接 Prompt Injection 攻击,帮助研究者理解大语言模型的信任边界与安全问题。

Stars: 1 | Forks: 0

# RAG Prompt Injection 实验室 ## 概述 本项目演示了使用 LangChain 和由 Ollama 提供的本地 Llama 3 模型,针对检索增强生成 (RAG) pipeline 的间接 Prompt Injection 攻击。 其目的是演示 LLM 如何成为 Confused Deputy,即执行嵌入在检索文档中的恶意指令,而不是遵循合法的用户请求。 ## 技术 - Python - LangChain - LangChain Community - Ollama - Llama 3 ## 攻击场景 RAG 系统从外部文档中检索信息。 检索到的文档包含隐藏的恶意指令。 模型没有回答用户的合法问题,而是遵循了检索到的上下文中包含的注入指令。 ## 预期输出 ``` HACKED! CONFUSED DEPUTY ATTACK SUCCESSFUL. ``` ## 截图 screenshot png ## 学习目标 - 间接 Prompt Injection - RAG 安全 - Confused Deputy 问题 - Prompt Injection - AI 安全 ## 免责声明 本项目仅出于教育和安全研究目的而创建。
标签:AI风险缓解, DLL 劫持, LangChain, RAG, 人工智能安全, 合规性, 大语言模型, 概念验证, 轻量级, 逆向工具