garrettw1006-ai/ai-security-reasoning-benchmark

# AI 安全推理基准测试 一个用于评估 AI 系统在不确定条件下，能否通过推理解决贴近真实的 SOC 风格网络安全事件的公开基准数据集。 该基准包含 100 个合成事件，涵盖 SIEM 风格告警、原始日志 artifacts、MITRE ATT&CK 映射、补救措施、分析师笔记、预期答案、置信度标签以及缺失证据要求。 ## 研究问题 一个真正实用的 AI 安全基准数据集应该是什么样的？ ## 创建此基准的原因 许多网络安全数据集仅关注攻击分类。 此基准旨在评估 AI 系统能否完成更贴近真实的分析师工作： * 解读不完整且有噪声的证据 * 区分恶意活动与良性活动 * 识别误报 * 解释不确定性 * 将事件映射到 MITRE ATT&CK * 评估严重程度 * 建议遏制与补救措施 * 明确还需哪些补充证据 ## 数据集概述 * 总计 100 个事件 * 78 个标准事件 * 22 个挑战事件 * 10 个网络安全类别 * 多源安全遥测数据 * 仅包含合成场景 * 无真实企业数据 ## 类别 | Category | Incidents | | ---------------------- | --------: | | Phishing | 10 | | Malware | 10 | | Brute Force | 10 | | Cloud Misconfiguration | 10 | | Privilege Escalation | 10 | | Data Exfiltration | 10 | | Insider Threat | 10 | | PowerShell Abuse | 10 | | OAuth Abuse | 10 | | Lateral Movement | 10 | ## 基准任务 1. 攻击分类 2. 判定恶意、良性或不确定 3. MITRE ATT&CK 战术与技术映射 4. 严重性评分 5. 补救建议 6. 误报识别 7. 分析师推理与证据解释 8. 缺失证据识别 9. 置信度评估 ## 独特视角 该基准围绕分析师在不确定条件下的推理能力而设计。 挑战事件包含不完整的日志、相互矛盾的证据、良性解释、已批准的管理活动、模糊的用户行为、异常但合法的访问模式，以及贴近真实的误报场景。 其目标不是奖励那些将每个告警都自信地标记为恶意的 AI 系统。 而是评估它能否谨慎推理、解释已知信息、识别未知内容，并建议适当的后续步骤。 ## 事件 Schema 每个事件包含： incident_id title description raw_logs alert_source attack_category severity mitre_tactic mitre_technique ioc_list remediation analyst_notes expected_answer difficulty false_positive missing_evidence confidence_label ## 数据集文件 dataset/incidents.jsonl 主要的机器可读基准格式。 dataset/incidents.csv 适合电子表格的格式，便于查看、筛选和分析。 docs/dataset_statistics.md 关于类别、严重程度、难度、置信度以及良性或误报案例的摘要统计数据。 docs/schema.md 每个事件的字段定义。 docs/methodology.md 数据集设计与预期用途。 docs/benchmark_tasks.md 基准评估任务。 ## 验证 运行： py scripts\validate_dataset.py 预期输出： Validation passed. Total incidents: 100 Standard incidents: 78 Challenge incidents: 22 ## 生成 CSV 运行： py scripts\export_csv.py ## 生成统计数据 运行： py scripts\generate_statistics.py ## 预期用途 此基准可用于评估以下方面： * AI SOC 副驾驶 * 基于 LLM 的安全助手 * 事件响应自动化工具 * 安全聊天机器人的推理能力 * MITRE ATT&CK 映射系统 * 分析师培训工作流 ## 局限性 这是一个合成基准。它不能替代生产环境遥测数据、真实的事件响应判断、法律审查或针对特定组织的威胁建模。 ## 未来工作 * 对照该基准评估前沿模型与开源模型 * 比较不同模型间的推理质量 * 增加对抗性 prompt 注入和日志投毒场景 * 增加用于评估分析师质量推理的评分规则 * 发布一份简短的技术白皮书 * 使用该基准评估未来的 AI SOC 分析师项目 ## 许可证 MIT License。详见 [LICENSE](LICENSE)。

标签：DLL 劫持, LSASS转储, SOC分析, 人工智能, 大语言模型, 安全评测基准, 时序数据库, 用户模式Hook绕过, 网络安全, 逆向工具, 隐私保护