yingshill/ai-governance-red-team-control-pipeline

# AI 治理：Red Team → 控制管道 ## 为什么 大多数 AI 安全工作仅存在于幻灯片中。本仓库将治理策略转化为**你可以进行 diff、审查和交付的代码制品**： - 一个在 CI 中经过 schema 验证的**风险登记表** (YAML)。 - 一个带有共享接口 (`BaseControl`) 和可插拔检测器的**控制库**。 - 一个带有用于回归测试的 JSONL 数据集的**评估运行器**。 - 一个在安全指标出现回归时阻止 PR 的 **GitHub Actions 安全门禁**。 ## 设计原则 - **风险优先** — 每个控制项都可以追溯到 `risk_register/risks.yaml` 中已量化的风险。 - **故障关闭** — 发生错误的控制项默认为 `block`，绝不会静默通过。 - **纵深防御** — 模式匹配 + 启发式 +（可选的）ML 分类器，每一层均可独立测试。 - **可交付的治理** — 每一个策略决策都是一个 PR diff，均经过审查和版本控制。 ## 仓库结构 ``` . ├── .github/workflows/ # CI: safety gate + nightly eval ├── risk_register/ # YAML risks + JSON Schema + validator ├── controls/ # Control library (PII, jailbreak, HITL, citations) ├── evals/ # Datasets, runner, pytest suite ├── config/ # Release thresholds ├── scripts/ # Gate check + report generator ├── docs/ # NIST RMF mapping, threat model, runbook ├── pyproject.toml └── Makefile ``` ## 快速开始 ``` python -m venv .venv && source .venv/bin/activate pip install -U pip pip install -e ".[dev]" python risk_register/validate.py make eval make gate ``` ## 许可证 MIT

标签：AI安全, Chat Copilot, CI/CD安全门禁, CISA项目, DevSecOps, GitHub Actions, JSONL数据集, LLM红蓝对抗, NIST RMF, Pytest, Python, YAML模式验证, 上游代理, 个人身份信息检测(PII), 人工智能治理, 人类在环(HITL), 代码化策略, 反取证, 大模型安全, 威胁建模, 安全回归测试, 安全控制管道, 安全规则引擎, 安全评估, 政策即代码, 无后门, 纵深防御, 自动笔记, 越狱检测, 软件供应链安全, 远程方法调用, 逆向工具, 风险登记册, 风险管理框架