sameerrajput99/AI-Red-Teaming-Test-Harness

# AI Red Teaming 测试框架 一个用于定义结构化 AI 安全测试用例的、安全的、本地的且可复现的框架。 ## 第一天状态 第一个里程碑将在任何结构化 YAML 测试用例发送给任何聊天机器人之前对其进行验证。 当前功能： - 严格的测试用例 schema - 三个初始测试用例 - 使用安全解析的 YAML 加载 - 清晰的验证错误提示 - 自动化的单元测试 ## 本项目存在的原因 当 prompt、预期行为和证据以非正式方式存储时，手动 AI 安全测试将变得难以复现。本项目将这些检查转化为结构化的测试用例，之后可以针对脆弱和经过加固的聊天机器人配置执行这些测试。 ## 第一天架构 ``` YAML Test Pack ↓ Safe YAML Loader ↓ Pydantic Schema Validation ↓ Valid TestCase Objects ↓ Ready for the future Test Runner ``` ## 在 Windows PowerShell 上进行设置 ``` py --version py -m venv .venv .venv\Scripts\Activate.ps1 python -m pip install --upgrade pip python -m pip install -e ".[dev]" ``` 如果 PowerShell 阻止激活，请改用命令提示符： ``` .venv\Scripts\activate.bat ``` ## 验证初始测试包 ``` validate-ai-tests test_packs/day1_test_cases.yaml ``` 替代命令： ``` python -m ai_red_teaming_harness.validate_cases test_packs/day1_test_cases.yaml ``` 预期结果： ``` Validated 3 test cases successfully. ``` ## 运行单元测试 ``` pytest ``` ## 初始测试类别 1. Prompt 泄露攻击 2. 指令覆盖攻击 3. 良性对照 ## 重要安全原则 测试框架并不能证明一个 AI 系统是完全安全的。它为所定义的特定测试和评估器生成可复现的证据。 ## 道德使用 本项目用于安全的本地模拟、防御性测试、教育和作品集开发。未经明确授权，请勿将其用于针对其他系统。

标签：AI红队, LLM测试, Pydantic, YAML, 人工智能安全, 合规性, 多语言支持, 安全库, 安全测试框架, 安全规则引擎, 逆向工具