bamdadd/leakgauge

GitHub: bamdadd/leakgauge

leakgauge 是一个防御性的 prompt injection 基准测试,专注于评估 AI Agent 在提示注入攻击下的敏感信息泄露风险。

Stars: 0 | Forks: 0

# leakgauge ## 为什么存在 现有的套件(AgentDojo, InjecAgent)在 frontier 模型上已趋于饱和,并且对任务 *h劫持* 而非 *泄露* 进行评分。leakgauge 专注于对泄露进行评分。 ## 范围 30–50 个用例 · 单一领域(电子邮件 + 日历工作区) · 3 种攻击家族(延迟触发、跨上下文组装、编码包装) · 指标:ASR、攻击下实用性(Utility-under-Attack)以及 **经验证泄露的 ASR** 变体。 ## 运行 ``` uv sync uv run leakgauge --model anthropic:claude-… --suite all ``` ## 严谨性 ASR 的置信区间(该套件规模较小——在此说明)。版本化发布以确保结果保持可比性。成功与否由程序化验证。 ## 许可证 MIT。
标签:Python, 人工智能, 无后门, 智能体评估, 用户模式Hook绕过, 逆向工具