aethryx-ai/aethryx-open-testing-kit

# Aethryx Open Testing Kit 开发者优先的工具包，用于测试、红队演练和评估面向**真实世界故障场景**而非仅静态基准的 LLM 和 AI 代理。 ## 存在的原因 大多数 AI 评估工具关注： - 模型准确性 - 静态基准 但现实中的 AI 系统因以下原因失败： - 提示注入 - 越狱攻击 - 工具滥用 - 多步骤决策故障 - 数据泄露与不安全自治 **Aethryx 专注于以生产环境中实际发生的方式测试 AI 系统。** ## 核心能力 ### 红队演练 - 提示注入攻击 - 动态生成的越狱模拟 - 对抗性测试数据集 ### 代理故障模拟（核心差异化） - 工具滥用场景 - 不安全自治检测 - 策略违规测试 - 多步骤故障链 ### 数据集驱动评估 - 偏见数据集 - 幻觉测试 - 金融风险场景 - 数据泄露模拟 ### 风险评分 - 漏洞检测 - 风险分类（低 / 高 / 严重） - 聚合风险摘要 ## 快速开始 ``` pip install . python examples/run_all.py ## 快速开始 from aethryx_testing.core.runner import run_all_tests class Agent: def run(self, prompt): return "blocked" results = run_all_tests(Agent()) print(results) ```

标签：AI代理测试, 不安全自主性, 代理工具滥用, 偏见数据集, 动态生成, 多步骤失败链, 威胁情报, 幻觉测试, 开发者工具, 提示注入攻击, 真实世界失败场景, 财务风险场景, 越狱模拟, 逆向工具, 静态基准对比, 风险分级, 风险摘要