sandhipveera/seceval-lab
GitHub: sandhipveera/seceval-lab
一个基于 Docker 的可复现 AI/ML 安全工具评估实验室，以标准化评分卡对模型扫描器等产品进行独立基准测试并自动化生成评测内容。
Stars: 0 | Forks: 0
# 安全实验室 — AI 安全产品评估
**由 [AccessQuint](https://accessquint.com) 出品** · 对 AI/ML 安全工具进行独立、可复现的良性金丝雀评估。
这是一个用于网络安全博客 + YouTube 系列的可复现内容引擎。每一期都是对最新 AI 安全工具的
实操性、正面交锋评估，**在 Docker 中本地**测试，
并捕获证据和提供一个任何人都可以重新运行的公开实验室。使用你自己的（ElevenLabs）
语音进行配音；屏幕录制 + 剪辑合成均已自动化。
## 特别推荐 — 第 02 期：4 款 AI 模型扫描器 vs. 1 个隐藏 Payload
一个恶意模型文件能逃过扫描器的检测并仍然运行代码吗？我在基于 pickle 的模型中隐藏了一个**良性**金丝雀 payload，将其包装在四种规避变体中，并用四款扫描器对其进行了扫描。有两款抓住了所有变体；有两款漏掉了实际的 payload —— 最有趣的失败案例是，有一款扫描器甚至从未打开过它无法通过扩展名识别的文件。**[阅读完整的深度拆解 →](episodes/02-model-scanner-bypass/POST.md)**
*独立研究 · 良性、隔离、无出口的实验室 · 产品名称均为其各自所有者的商标，仅作指代使用；不存在任何附属或背书关系。*
## 目录结构
```
README.md This file
SETUP.md Step-by-step setup & run order ← start here
EPISODE_BACKLOG.md Ordered queue of episodes (traction-ranked)
Makefile Task runner (make help)
framework/ Reusable across episodes: evaluation template, scorecard rubric, safety
video/ Voiceover (ElevenLabs) + recording (Playwright) + assembly (ffmpeg)
episodes/ One folder per episode (the weekly task delivers here)
01-mcp-agent-security/
STATUS.yaml new | in_production | published ← pickup signal
STORYBOARD.md blog outline + 9-scene video script (source of truth)
script.yaml machine-readable twin for the video pipeline
POST.md blog draft (numbers as [FILL] until a real run)
YOUTUBE.md titles, description, chapters, tags
lab/ this episode's Docker lab (compose + build contract + scripts)
extras/ Optional: original vSphere/Terraform + IDS episode (not needed for Docker)
```
## 每周的运行机制
一个计划任务（"weekly-episode-storyboard"）会从 `EPISODE_BACKLOG.md` 中提取下一个未勾选的条目，研究一个全新的切入点，并**将完整的单期内容包交付到 `episodes/-/` 中，状态标记为 `STATUS: new`**。你的工具会拾取任何在 `STATUS.yaml` 中标记为 `new` 的单期内容；在你处理它时，将其推进到 `in_production` → `published`，该任务永远不会覆盖它。
## 每一期内容的工作流程
1. 构建该期的 Docker 实验室并运行评估（参见该期的 `lab/CLAUDE_CODE_BUILD.md`）。
2. 将结果捕获到该期的 `lab/artifacts/` 中（标准化发现 + 指标 CSVs）。
3. 填写 `POST.md` 中的 `[FILL]` 占位符，并根据实际 artifact 填写指标/评分卡。
4. 生成配音 + 录制 + 剪辑合成视频（`video/`）。
5. 发布；将 `STATUS.yaml` 标记为 `published`。
## 基本规则（每一期）
- 相同且固定的 7 项标准评分卡（`framework/SCORECARD.md`）。
- 相同的目标、相同的攻击、相同的干净容器状态 —— 只有被测试的工具发生变化。
- 隔离的 Docker 网络，**无互联网出口**；**仅限良性/金丝雀 payload**；
负责任的披露；在发布基准测试前审查每个工具的许可证
（`framework/SAFETY.md`）。
标签：AI安全, Chat Copilot, Docker, 内容生成, 反取证, 安全评估, 安全防御评估, 特征检测, 请求拦截, 逆向工具