KIM3310/ai-security-redteam-lab

GitHub: KIM3310/ai-security-redteam-lab

一个无需凭证的AI安全红队实验室,专注于通过确定性策略检查和合成用例,在CI/CD环境中自动化检测提示注入、机密泄露和危险工具调用等LLM安全风险。

Stars: 0 | Forks: 0

# AI 安全红队实验室 用于提示注入、机密泄露和危险工具使用场景的独立测试工具。该实验室使用确定性的策略检查和合成案例,因此可以在 CI 中运行而无需外部服务。 ## 演示内容 - 攻击案例测试夹具 - 具有严重性和分类的策略检测器 - 可复用的扫描报告 - 针对已知危险模式的回归测试 - 无真实密钥、无外部模型调用、无隐私数据 ## 架构 ``` flowchart LR Cases["Synthetic cases"] --> Scanner["Policy scanner"] Scanner --> Findings["Findings"] Findings --> Score["Risk score"] Score --> Reports["JSON and Markdown reports"] ``` ## 快速开始 ``` python3 -m unittest discover -s tests python3 scripts/run_scan.py ``` 扫描将输出: - `artifacts/redteam-report.json` - `artifacts/redteam-report.md` ## 策略类别 | 类别 | 示例 | |---|---| | 提示注入 | 忽略先前规则、泄露隐藏指令 | | 机密处理 | 密钥/token/密码的窃取话术 | | 危险工具使用 | shell 执行、文件删除、强制网络获取 | | 数据边界 | 尝试访问私有或无关数据 | ## 验证 ``` python3 -m unittest discover -s tests python3 -m redteam_lab.scanner examples/cases.json ``` 所有测试夹具均为合成数据。 ## 云 + AI 架构 本仓库包含一个中立的云和 AI 工程蓝图,将当前的验证面映射到运行时边界、数据契约、模型风险控制、部署姿态和验证钩子。 - [云 + AI 架构蓝图](docs/cloud-ai-architecture.md) - [机器可读的架构清单](docs/architecture/blueprint.json) - 验证命令:`python3 scripts/validate_architecture_blueprint.py`
标签:AI安全, AI架构蓝图, Chat Copilot, CISA项目, DevSecOps, Homebrew安装, IP 地址批量处理, LLM防护栏, Python, SecOps, 上游代理, 不安全工具调用, 云安全架构, 云安全监控, 合成数据, 回归测试, 大语言模型安全, 安全合规, 安全扫描, 安全检测器, 安全策略, 密钥泄露防护, 持续集成安全, 提示词设计, 无后门, 时序注入, 机器学习安全, 机密管理, 测试夹具, 网络代理, 逆向工具, 防御加固, 零日漏洞检测, 静态分析, 风险评分