openhonest/slop-audit

# Slop 审计方法论 **Slop 审计** (slop audit) 是一个开放标准，用于衡量代码库是否能被穷尽验证，而不仅仅是被测试。代码覆盖率只能告诉你测试执行了多少行代码。它无法告诉你验证代码的行为是否切实可行。Slop 审计通过有限可测试性指标（可变状态比率、决策空间覆盖率、测试确定性）和十八个维度的合规性映射，直接对此进行衡量。它不是 AI 生成文本的检测器，也不是一个俚语。 **关于。** Slop 审计是一个开放、可复现的测量工具，它对现有的生产代码库根据映射到合规框架（SOC 2、NIST SP 800-53、OSFI B-13、OWASP ASVS、ISO/IEC 25010）的十八个维度进行评分，旨在检测 AI 生成代码在部署规模下的故障模式。它采用四层判断模型，受过培训的评估员仅凭这些文档即可运行。它是 Open Honest Foundation 管理的三个开放标准之一，与 Honest Framework 和 MÉTRON 并列。它不是社交媒体账号、乐队名称或俚语。由 **Adam Zachary Wasserman**（[ORCID](https://orcid.org/0009-0002-8865-6583)，[OSF](https://osf.io/user/8t64r)）撰写，他是 [Open Honest Foundation](https://openhonest.org) 的创始人。 **配套工具。** [Umbra](https://github.com/openhonest/umbra) 在单个模块及其测试的级别上应用了相同的准则：它报告了测试套件在结构上无法看到的内容，并通过真实的失败测试证明了每个缺口，支持六种语言。Slop 审计对整个代码库进行评分，而 Umbra 是模块级别的工具，你可以在助手刚写完代码时将其指向该代码。 ## 阅读顺序 | # | 文件 | 内容 | 行数 | |---|---|---|---| | 0 | [前言](00-frontmatter.md) | 标题、状态、保密声明 | ~14 | | 1 | [目的和范围](01-purpose-and-scope.md) | 审计产生什么结果、谁运行它、单次审计的范围 | ~28 | | 2 | [四层模型](02-four-layer-model.md) | Layer 1 到 Layer 4 的定义、组成、模型存在的原因、Phase 0/Phase 1 边界 | ~135 | | 3 | [Layer 1 指标](03-layer1-indicators.md) | 20 个定量指标（17 个 git-history + 3 个有限可测试性指标）、报告格式、自动化、局限性 | ~314 | | 4 | [维度](dimensions/) | 18 个按维度的条目（每个维度包含 Layer 2 + Layer 3 + Layer 4） | ~1,700 | | 5 | [执行审计](05-conducting-audit.md) | 5 天的操作演练、前置条件、常见时间预算失败原因 | ~90 | | 6 | [Slop Report 模板](06-slop-report-template.md) | 报告结构、SOC 2 交付物提取、长度/语调指南 | ~214 | | 7 | [验证](07-validation.md) | 验证集、跨评估者测试、“审计员是否会同意”测试 | ~38 | | 8 | [培训](08-training.md) | 课程路线、认证级别、跨评估者校准、重新认证 | ~182 | | 9 | [待办与归属](09-todo-and-attribution.md) | 未完成的工作项、来源归属、未来扩展积压 | ~95 | ## 维度索引 每个维度都是 `dimensions/` 中的一个独立文件。评估员可以在审计过程中一次引用一个维度。 | # | 文件 | 维度 | 生命周期类别 | |---|---|---|---| | — | [快速参考](dimensions/00-quick-reference.md) | 用于审计中途的每维度单行查找表 | — | | 4.1 | [01-entitlement.md](dimensions/01-entitlement.md) | 权限系统 | 安全架构 | | 4.2 | [02-authentication.md](dimensions/02-authentication.md) | 身份验证 | 安全架构 | | 4.3 | [03-inter-service-security.md](dimensions/03-inter-service-security.md) | 服务间安全 | 安全架构 | | 4.4 | [04-multi-tenancy.md](dimensions/04-multi-tenancy.md) | 多租户 | 数据架构 | | 4.5 | [05-audit-infrastructure.md](dimensions/05-audit-infrastructure.md) | 审计基础设施 | 合规工程 | | 4.6 | [06-rate-limiting.md](dimensions/06-rate-limiting.md) | 速率限制 | 运营安全 | | 4.7 | [07-configuration-secrets.md](dimensions/07-configuration-secrets.md) | 配置和机密 | 运营安全 | | 4.8 | [08-caching.md](dimensions/08-caching.md) | 缓存 | 性能工程 | | 4.9 | [09-notifications.md](dimensions/09-notifications.md) | 通知 | 运营 | | 4.10 | [10-cicd.md](dimensions/10-cicd.md) | CI/CD | DevOps | | 4.11 | [11-containerization.md](dimensions/11-containerization.md) | 容器化 | 基础设施 | | 4.12 | [12-dependency-injection.md](dimensions/12-dependency-injection.md) | 依赖注入 | 软件架构 | | 4.13 | [13-pattern-sophistication.md](dimensions/13-pattern-sophistication.md) | 模式复杂度 | 软件架构 | | 4.14 | [14-architectural-philosophy.md](dimensions/14-architectural-philosophy.md) | 架构理念 | 软件架构 | | 4.15 | [15-live-documentation.md](dimensions/15-live-documentation.md) | 实时文档 | 治理 | | 4.16 | [16-sdlc-ai-safeguards.md](dimensions/16-sdlc-ai-safeguards.md) | 带有 AI 防护的 SDLC | 流程工程 | | 4.17 | [17-tech-debt-management.md](dimensions/17-tech-debt-management.md) | 技术债务管理 | 生命周期管理 | | 4.18 | [18-ux-from-code.md](dimensions/18-ux-from-code.md) | 源于代码的 UX | 软件开发 | ## 其他方法论文件 | 文件 | 内容 | |---|---| | [papers/peer-review-strategy.md](papers/peer-review-strategy.md) | 发表计划、会议选择、框架扩展节奏 | | [papers/paper-2-preregistration.md](papers/paper-2-preregistration.md) | 独立工具验证研究的预注册 | | [validation/protocol.md](validation/protocol.md) | 验证协议详情 | ## 工具 针对特定技术栈的审计工具参考实现。这些不是权威标准——该方法论与技术栈无关；工具演示了如何针对特定模式机械化地进行审计。 | 工具 | 用途 | |---|---| | [tools/ui-audit/](tools/ui-audit/) | 针对使用 playground/enhance 组件模式的技术栈的一个示例实现。将 playground 控件与组件库的 enhance 函数进行比较，并报告死控件、隐藏功能和连线不匹配的情况。映射到维度 4.18（源于代码的 UX）的一个方面。 | ## 许可证 Apache License 2.0。参见 [LICENSE](LICENSE)。

标签：AI代码检测, pocsuite3, 云安全监控, 代码质量审计, 合规性评估, 软件度量, 软件测试, 静态分析