Luigi1010101/turntable
GitHub: Luigi1010101/turntable
Turntable 是一项 Codex 技能,通过结构化的对抗性审查流程和证据分级机制,克服 AI 助手在审查中的谄媚倾向,提供可靠、可验证的代码与产品批评。
Stars: 0 | Forks: 0
# 转盘
针对 AI agent、代码、产品、prompt 和发布计划的对抗性审查。
Turntable 是一项 Codex 技能,用于应对 AI 助手中“讨好人类”的失败模式。它能将 agent 从顺从的助手模式切换为基于证据的批评模式:找出故障点、捕获证据、拦截幻觉,并对重要问题进行分流。
这个玩笑出自《*The Office*》。但其方法绝非玩笑。
## 为什么
AI 助手通常会为了表现得乐于助人、随和且令人愉悦而进行优化。这在创作阶段非常有用,但在审查阶段却很危险。模型可能会在无形中认可用户的假设,而不是对假设进行压力测试。
Turntable 将产出物视为第三方作品,并提出以下问题:
- 在生产环境中会出现什么故障?
- 什么会让用户感到困惑?
- 哪个安全或隐私边界存在薄弱环节?
- 哪项主张没有证据支持?
- 哪些批评能经得起验证?
## 工作流程
1. **消除所有权**
将产出物视为第三方作品,即便它是用户亲自制作的。
2. **确立审查范围**
识别成功标准、用户群、不变量、信任边界和假设。
3. **对抗性批评**
在正确性、安全性、UX、测试、AI 风险和生产就绪度等各个维度搜索潜在的故障。
4. **证据收集**
要求提供位置、触发条件、观察到的行为、预期行为、影响、严重程度和置信度。
5. **证据:幻觉拦截**
将每项发现分类为 `verified`(已验证)、`probable`(极可能)、`speculative`(推测性)或 `unsupported`(无依据)。
6. **验证与分流**
优先采用测试、日志、截图、源码引用和确定性检查,而非模型的自主判断。
## 安装
将该技能复制到你的 Codex 技能目录中:
```
mkdir -p ~/.codex/skills
cp -R skills/turntable ~/.codex/skills/turntable
```
然后在 Codex 中调用它:
```
Use $turntable to review this PR for production risks.
```
其他实用的 prompt:
```
Use $turntable to critique this product idea before launch.
Use $turntable to review this agent workflow for hallucination and prompt-injection risk.
Use $turntable to find the bugs a polite review would miss.
```
## 独特之处
Turntable 并非要求 AI 去伪装愤怒。那种做法只会制造表演,而非真相。
相反,它采用结构化的对抗性审查:
- 不设赞美要求。
- 不盲目假设制作者是对的。
- 主报告中不包含无依据的发现。
- 不鼓励“批评越多越好”。
- 没有证据就不成 bug。
## 研究基础
内置的技能参考资料总结了关于 LLM 谄媚性、审查工作流、人格 prompt 不稳定性以及自我纠正局限性的研究。参见 [`skills/turntable/references/research.md`](skills/turntable/references/research.md)。
## 许可证
MIT
标签:AI代理, C2, 产品审查, 代码审查, 威胁情报, 对抗性测试, 开发者工具, 提示词工程, 策略决策点, 防御加固