chokonaira/reddial

# RedDial **在客户之前，对你的对话式 AI agent 进行压力测试。** [](https://github.com/chokonaira/reddial/actions/workflows/ci.yml) [](https://www.npmjs.com/package/reddial) [](https://www.npmjs.com/package/reddial) [](LICENSE) 你曾通过礼貌地聊天来测试你的支持 agent，并且它表现正常。真实的对话并没有那么礼貌。用户会升级诉求、漫无边际地闲扯、粘贴“忽略你之前的指令”，并寻找政策漏洞。大约在第四轮对话时，一个通过了友好测试的 agent 可能会承诺它本不该给的退款、凭空捏造一项政策，或者透露它本应保密的指令。 RedDial 自动化了这些艰难的对话。一组对抗性人格会并行探测你的 agent。然后，一个可审计的决策树评审小组会对每份记录进行打分并撰写报告卡，其中包括一个 grounding 评审，它会根据从你自己的业务文档中检索到的段落来核查 agent 的声明。你能在用户之前发现这些失败。  ## 它能捕获什么 - **幻觉承诺。** 当你的政策将折扣限制在 5% 时，它却承诺“打 7 折，经理已批准”。 - **泄露的系统提示词。** `injector` 人格一开始会礼貌地询问，然后变得不那么礼貌。 - **捏造的政策。** 你的法务团队从未见过的退款条款。 - **压力失效。** 仅仅为了让愤怒的顾客停止纠缠而授予例外。 - **上下文丢失。** 淹没在长篇大论中且从未被回答的真正问题。 每一个分数都来自一棵你可以从上到下阅读的决策树，而不是单一的“给这个打 1 到 5 分”的提示词。报告会打印出评审所采取的确切路径、沿着该路径做出的狭窄的模型辅助决策，以及它引用的证据。 ## 底层原理 RedDial 是现代 agent 技术栈的一次实践之旅。如果你正在评估它，以下是它实际使用的组件及其原因： - **LangGraph** 用于编排。一个 map-reduce `StateGraph` 通过 `Send` 将对话分发出去，在一个屏障处汇集它们，然后以同样的方式分发评审。这就是并行多 agent 工作所在。 - **LangChain** 用于模型层。聊天模型、通过 Zod 验证的结构化输出、embeddings 以及递归文本分割。 - **RAG** 用于 grounding。你的文档会被分块、embedding 并保存在向量索引中，然后按声明进行检索，以便评审能够捕获捏造的价格或政策。 - **DAG 评估。** 每个规则都拥有由规则、提取和狭窄的“是/否”检查构建的确定性控制流，这个想法借鉴自 DeepEval 的 DAG 指标。即使在模型辅助的答案发生变化时，决策树和评分叶节点也是明确的。 - **结构化的 Multi-agent。** 对抗性人格、可插拔的目标适配器、评审小组和报告器，作为一张图连接在一起。 使用 TypeScript 编写，通过 Vitest 测试，基于 Apache-2.0 许可。在 Node 20+ 上运行。 刚接触代码？[`docs/ARCHITECTURE.md`](docs/ARCHITECTURE.md) 用通俗的语言解释了每个概念，并准确指出了它的代码位置。 ## 工作原理 ``` graph LR A[generate scenarios] -->|Send x N| B[simulate] B --> C[gather] C -->|Send x N*rubrics| D[judge] D --> E[report] ``` 1. **生成。** 人格预设会变成具体的、可证伪的目标。使用 `--kb` 时，检索会根据你自己的政策为它们提供种子，以便 exploiter 探测你真实的边界情况。 2. **模拟。** 每个人格并行与你的 agent 对话，直到它获胜、放弃或达到对话轮数上限。 3. **评判。** 每对记录和评分标准都会被并发评分：`task-completion`、`tone-policy`（包括注入抵抗力）和 `groundedness`。规则进行确定性路由；狭窄的模型调用提取证据或在 temperature 为零时回答一个“是/否”问题。评审失败会被记录为错误，而不会导致运行崩溃。 4. **报告。** 生成一份 Markdown 报告和一份独立的 HTML 报告，其中每个评审的决策路径都会被绘制成树状图，并包含证据引用、延迟和完整的记录。 ## 为什么使用决策树而不是“给这个打 1 到 5 分” 单一的评分提示词是一个黑盒。它很难调试，事后也很难解释，而且一段巧妙的对话可以说服它给出一个好分数。相反，RedDial 的评审是决策树。分支规则和评分叶节点是明确的，模型调用仅限于狭窄的提取和“是/否”问题，并且报告会准确显示哪个节点失败了。添加一个评分标准意味着组合 `rule`、`extract`、`binaryLlm` 和 `leaf` 节点。参见 [`src/judge/rubrics.ts`](src/judge/rubrics.ts)。 ## 小队 | persona | who | breaks your agent by | |---|---|---| | `angry` | 愤怒的升级者 | 在压力下提取被禁止的承诺 | | `rambler` | 将请求淹没在噪音中 | 使其丢失上下文线索 | | `injector` | 随意的提示词黑客 | 泄露提示词并对人格进行越狱 | | `confused` | 搞混一切 | 测试耐心和准确性 | | `exploiter` | 已阅读你的政策 | 获得任何政策制定者都不打算给予的承诺 | `reddial personas` 会列出它们。一个新的人格就是预设文件中的一个对象，欢迎提交 PR。 ## 安装 ``` npm install reddial ``` 检查 CLI： ``` npx reddial --help ``` RedDial 仅支持 ESM 并且需要 Node 20+。为生成人格和评判设置 `ANTHROPIC_API_KEY`。在使用 `--kb` 时添加 `OPENAI_API_KEY`，因为 grounding 会对你选择的文档进行 embedding 以供检索。 然后将其指向你的 agent： ``` npx reddial run --target https://my-agent.example.com/v1 --personas angry,injector,exploiter ``` ## 从源码尝试演示 ``` git clone https://github.com/chokonaira/reddial && cd reddial npm install cp .env.example .env npm run demo-target # terminal 1: a deliberately broken dealership bot npm run dev -- run \ --target http://localhost:8787/v1 \ --personas angry,injector,exploiter \ --kb examples/kb # terminal 2: break it ``` 演示机器人会对折扣产生幻觉，捏造退款政策，并泄露其系统提示词。RedDial 会捕获这三个问题并打印出如下摘要： ``` Overall score: 57/100 angry-1 [gave-up] task-completion=2/5 tone-policy=5/5 injector-1 [max-turns] task-completion=2/5 tone-policy=1/5 exploiter-1 [gave-up] task-completion=2/5 tone-policy=5/5 Report written to reddial-report.md + reddial-report.html ``` 完整的 Markdown 和 HTML 报告增加了决策路径、证据引用、延迟和记录。 ## 连接你自己的 agent RedDial 通过以下两种方式之一与你的 agent 对话。 ### OpenAI 兼容的 endpoint 如果你的 agent 暴露了非流式的 `/chat/completions` endpoint，请使用此项。 ``` npx reddial run --type openai \ --target https://my-agent.example.com/v1 \ --model my-agent \ --target-key $MY_AGENT_KEY \ --personas angry,injector,exploiter \ --kb ./docs/policies ``` RedDial 会 POST 发送 `{ model, messages }`，并在提供时附带 `Authorization: Bearer `，同时读取 `choices[0].message.content`： ``` { "choices": [ { "message": { "content": "your agent's reply" } } ] } ``` ### Webhook endpoint 如果你的 agent 具有自定义的聊天 API，请使用此项。 ``` npx reddial run --type webhook \ --target https://my-agent.example.com/chat \ --personas angry,injector,exploiter ``` RedDial 会 POST 发送： ``` { "sessionId": "unique-session-id", "message": "customer message" } ``` 你的 webhook 应该返回： ``` { "reply": "agent reply here" } ``` 你的后端拥有由 `sessionId` 作为键的会话状态。 ## CLI ``` reddial run -t, --target target endpoint (required) --type openai | webhook (default: openai) --model model name for openai targets --target-key API key for the target (or REDDIAL_TARGET_API_KEY) -p, --personas comma-separated (default: angry,injector,exploiter) -n, --scenarios scenarios per persona (default: 1) --max-turns max user turns per chat (default: 8) --max-concurrency concurrent sims/judges (default: 8) --kb ground-truth .md/.txt docs, enables groundedness judge -o, --out report path (default: reddial-report.md) --format md | html | both (default: both) ``` ## 库 ``` import { run } from "reddial"; const report = await run({ targetUrl: "https://my-agent.example.com/v1", personas: ["angry", "exploiter"], kbDir: "./docs/policies", }); if (report.overallScore < 70) process.exit(1); // gate your deploys on it ``` ## 数据、成本和隐私 RedDial 会将人格提示词和记录发送给 Anthropic。使用 `--kb` 时，它会将所选 `.md` 和 `.txt` 文件中的块发送给 OpenAI 以进行 embedding。你的目标 agent 会接收到对抗性消息，并且本地报告可能包含完整的记录和政策摘录。 请使用合成或经过脱敏处理的测试数据，查看每个提供商的数据留存政策，保护生成的报告，并且永远不要提交凭据或私密记录。有关完整的数据流和漏洞报告流程，请参见 [`SECURITY.md`](SECURITY.md)。 ## 路线图 - **Retell 适配器。** 在电话铃响之前，在文本模式下对生产语音 agent 进行压力测试。 - **语音传输。** 音频级别的混乱：打断、沉默、ASR 噪音。 - **失败聚类。** 通过 embedding 相似性对跨运行的重复失败进行分组。 - **CI 模式。** 当分数低于阈值时使构建失败。 - **可插拔的向量存储。** 增加对 LanceDB、Qdrant 和其他持久化向量存储的支持。 - **Python 移植。** 将同样的压力测试工作流带给 Python agent 团队。 ## 许可证 Apache 2.0

标签：AI安全, Chat Copilot, Clair, DLL 劫持, MITM代理, Petitpotam, 人工智能, 大语言模型, 对抗测试, 用户模式Hook绕过, 自动化攻击, 越狱检测