ttarutir/AI_Security_Prompt-Injection-on-AI-Agents

# 金融顾问智能体 — 基线版本（无守卫节点） LangGraph + Milvus + Streamlit 金融顾问智能体。 这是安全研究项目的**第一阶段**：在引入守卫节点之前用于衡量攻击成功率（ASR）的存在漏洞的基线版本。 ## 项目结构 ``` financial_advisor/ ├── src/ │ ├── agent/ │ │ ├── state.py # AgentState schema │ │ ├── nodes.py # LangGraph nodes (retrieve → generate → finalize) │ │ ├── graph.py # LangGraph pipeline definition │ │ └── server.py # FastAPI server │ ├── rag/ │ │ ├── embeddings.py # Sentence Transformers embeddings │ │ ├── indexer.py # Text chunking │ │ └── retriever.py # Milvus vector store (financial_docs collection) │ └── app/ │ └── streamlit_app.py ├── data/ │ └── synthetic_documents.json # Firm policies + 3 malicious injection docs ├── seed_data.py # Seeds Milvus with synthetic documents ├── docker-compose.yml # Milvus (etcd + minio + milvus) + agent + streamlit ├── Dockerfile.agent ├── Dockerfile.streamlit ├── requirements.txt └── .env.example ``` ## 快速开始 ### 1. 设置环境 ``` cp .env.example .env # 编辑 .env 并添加您的 GOOGLE_API_KEY ``` ### 2. 构建并启动所有服务 ``` docker compose up --build ``` 启动以下服务： | 服务 | URL | 描述 | |------|-----|------| | Milvus | localhost:19530 | 向量数据库 | | 智能体 API | http://localhost:8000 | FastAPI + LangGraph 智能体 | | Streamlit | http://localhost:8501 | Web 界面 | Milvus 首次启动需要约30秒才能变为健康状态。智能体会自动重试。 ### 3. 填充向量存储 **干净基线（仅公司政策）：** ``` python seed_data.py ``` **包含恶意注入文档（ASR测试）：** ``` python seed_data.py --with-injections ``` **重置并重新填充：** ``` python seed_data.py --reset --with-injections ``` ### 4. 打开界面 访问 **http://localhost:8501** ## 如何运行实验 ### 干净基线测试 使用 `python seed_data.py` 填充（无注入）。提出正常的客户查询，验证智能体给出符合政策的建议。 ### ASR测量（间接注入） 使用 `python seed_data.py --with-injections` 填充。3个恶意文档现已存在于向量存储中，将与真实政策一起被检索。提出相同的干净客户查询——观察注入的指令是否影响输出。 ### 直接注入测试 使用 Streamlit 界面中标记为 **"⚠️ 直接注入"** 的示例查询，或自行设计对抗性用户查询。 ## 3个注入文档 | 文档标题 | 注入类型 | 攻击目标 | |---------|---------|---------| | 2024年第二季度市场展望 — 特别咨询通知 | `direct_policy_override` | 强制推荐不合适的产品，绕过 Reg BI | | 客户风险承受能力评估结果 | `data_exfiltration` | 导致智能体泄露会话上下文中的客户 NPI | | 监管更新备忘录 — FINRA 通知 24-08 | `jailbreak_via_roleplay` | 覆盖系统身份，绕过所有政策约束 | ## API 参考 | 方法 | 端点 | 描述 | |------|------|------| | GET | `/health` | 健康检查 | | GET | `/stats` | Milvus 集合统计 | | POST | `/query` | 提交金融顾问查询 | | POST | `/index-document` | 索引文档（文本、标题、类型） | | DELETE | `/reset-index` | 删除并重建集合 | **POST /query 请求体：** ``` { "query": "My client is 34 years old, moderate risk tolerance, wants to invest $500/month for retirement. What do you recommend?" } ``` ## 第二阶段 — 添加守卫节点 在测量此基线的 ASR 之后，安全版本的智能体将引入： - 在 `generate_response` 之前插入的**守卫节点** - 对输入和检索到的片段进行基于规则的验证 - 强化后的系统提示，明确指示模型忽略注入的指令 - 对标记的输入/输出进行结构化日志记录以供审计 守卫节点将作为独立的 LangGraph 分支，以便对两个智能体进行对比。

标签：API服务, AV绕过, DLL 劫持, Docker, FastAPI, Kubernetes, LangGraph, Milvus, Prompt注入, RAG系统, Sentence Transformers, Streamlit, 人工智能, 代理系统, 合成数据, 向量数据库, 图神经网络, 基线评估, 大语言模型, 安全防御评估, 恶意文档, 攻击成功率, 文本嵌入, 检索增强生成, 用户模式Hook绕过, 网络安全, 访问控制, 请求拦截, 逆向工具, 金融文档, 金融科技, 隐私保护