gustavo89587/detection-fidelity-score

# 检测保真度评分 (DFS) ### 检测工程的信号完整性 DFS 是一个用于评估安全遥测管道中**检测信号可信度**的框架。 它测量检测系统中的三种关键故障模式： - **信号丢失** - **信号失真** - **信号漂移** 其结果是一个**检测保真度评分**，用于确定信号是否可以安全地驱动 **SOC 自动化或 AI 代理决策**。    ## 检测信号生命周期 遥测在到达检测之前会流经多层。 每一层都可能引入风险。 ## 遥测源 ``` │ ▼ ``` 采集层 │ ▼ 归一化 / 解析 │ ▼ 检测逻辑 │ ▼ DFS 信号评估 │ ▼ 信任边界决策 │ ▼ SOC / AI 代理行动 # 检测保真度评分 (DFS) 安全团队衡量警报。 DFS 衡量检测信号质量。 检测保真度评分 (DFS) 是一个框架，用于将检测系统评估为在运营成本和遥测不确定性下运行的决策系统。 DFS 引入了一种结构化方法来分析检测在实际环境中的行为，重点关注信号信任度、存活率和决策可靠性，而不是警报量。 # 问题所在 现代安全运营产生海量的遥测和警报。 然而，大多数检测工程实践侧重于： 规则创建 警报生成 覆盖率扩展 很少被衡量的是检测系统产生的信号质量。 因此，许多 SOC 团队面临： 警报疲劳 低信噪比 悄然降级的脆弱检测 基于不完整上下文执行的自动化 不明确的决策边界 大多数检测是孤立评估的，而实际上它们是更大决策系统的一部分运行。 DFS 解决了这一差距。 ## 核心理念 检测不应被视为孤立的规则。 检测系统应作为决策系统进行评估。 每个检测都会促成运营结果，例如： 忽略 调查 升级 自动化 这些决策中的每一项在分析师时间、认知负荷和自动化风险方面都有实际的运营成本。 DFS 基于以下方面评估检测系统： 信号密度 运营压力 决策分布 变化下的系统稳定性 遥测降级下的检测存活率 ## 概念模型 事件 ↓ 检测 ↓ DFS 评估 ↓ 信号质量 ↓ 人工 / 自动化决策 DFS 充当检测逻辑与运营决策之间的信号评估层。 DFS 测量什么 DFS 使用多个结构维度评估检测系统。 信号密度 相对于噪声存在多少有意义的信号。 signal_density = (investigate + escalate) / total_events 调查压力 检测系统为分析师创造了多少工作量。 investigate_rate = investigate_decisions / total_events 升级压力 检测触发事件升级的频率。 escalate_rate = escalations / total_events 自动化覆盖率 决策流程中有多少可以安全地自动化。 automation_rate = automated_decisions / total_events 决策稳定性 检测系统在变化和遥测降级下的行为有多稳定。 DFS 对三个领域的降级进行建模： 丢失 → 遥测缺失 失真 → 语义改变 漂移 → 对手演变 检测保真度评分 DFS 引入了一个轻量级评分结构来评估检测存活率。 ## 示例模型： DFS = 信号强度 × 遥测稳定性 × 行为鲁棒性 其中： 信号强度 — 行为信号的清晰度 遥测稳定性 — 对数据丢失或失真的抵抗力 行为鲁棒性 — 对对手漂移的抵抗力 # 解读： 示例输出： 策略排名 powershell-4104 评分: 0.65 windows-4624-soc 评分: 0.41 这允许工程师在相同的数据集和运营假设下比较检测策略。 作为检测工程基础设施的 DFS DFS 旨在充当检测工程的 CI 层。 示例工作流： 工程师修改检测规则 ↓ 拉取请求 ↓ DFS 评估 ↓ 影响报告 ↓ 批准 / 修订 DFS 有助于回答诸如以下问题： 此规则会增加调查负载吗？ 此检测是否提高了信号密度？ 系统变得更稳定还是更脆弱？ 与 AI 代理的连接 自主安全系统和 AI 驱动的 SOC 工作流需要可靠的信号质量。 仅凭原始警报不足以进行自动化决策。 DFS 提供了一个信号评估层，代理可以在行动之前进行查询。 警报 ↓ DFS 信号评估 ↓ 代理决策 这可以防止自动化噪声。 项目面向对象 DFS 专为以下人员设计： 检测工程师 设计生产级检测 评估检测可靠性 减少分析师工作量 # SOC 团队 改善信噪比 了解检测系统行为 在部署前验证检测 安全研究人员 研究检测可靠性 分析信号降级模式 项目状态 DFS 目前处于积极的开发和研究中。 当前重点领域： 检测存活率建模 决策系统评估 数据集基准测试 检测工程方法论 长期愿景 DFS 旨在建立一门新学科： 检测质量工程 一个专注于以下方面的领域： 将检测系统作为决策架构进行评估 在运营约束下衡量信号可靠性 设计可存活的检测 实现安全自动化和 AI 辅助的 SOC 工作流 许可证 Apache License 2.0 ## 作者 检测保真度评分 (DFS) 最初由 Gustavo Okamoto 提出并维护 DFS 是基于对检测系统在实际运营压力下行为的实际观察而创建的。 目标很简单： 工程化能够产生可信决策的检测系统。

标签：AI安全智能体, LNA, Python, SOC自动化, 信号完整性, 信噪比, 决策系统, 告警疲劳, 安全度量, 安全运营, 扫描框架, 数据质量, 无后门, 检测保真度, 检测规则优化, 研究项目, 覆盖度分析, 误报率, 运营成本, 逆向工具, 遥测管道