ssurekumar01111-hue/sift-aegis

# SIFT-AEGIS：自主 DFIR 调查 Agent [](https://opensource.org/licenses/Apache-2.0) []() []() []() []() SIFT-AEGIS 是一个专为 **Find Evil!** 黑客松打造的自主数字取证与事件响应 (DFIR) 调查 Agent。它通过封装 Volatility3 的专用只读 Model Context Protocol (MCP) server、自我纠错调查编排器以及真值基准测试套件，对 Protocol SIFT 进行了扩展——并将这套技术栈同时接入 **OpenClaw** 和 **Claude Code (Protocol SIFT)** 作为 Agent 前端。 **架构模式：** Custom MCP Server *(符合 Find Evil! 支持的架构)* ## 提交链接 - **演示视频：** https://youtu.be/iaf47TIKkLw - **Devpost：** https://devpost.com/software/sift-aegis ## 评审标准覆盖情况 | 标准 | 实现情况 | |---|---| | **自主执行** | 动态调查规划器 + 证据扩展引擎 + 自我纠错循环 + 竞争性案例理论引擎 | | **IR 准确率** | 磁盘层：Precision 1.0，Recall 0.8，F1 0.8889。全部发现：Precision 0.37，Recall 0.7，F1 0.48。双评分方法记录在 submission_artifacts/ 中 | | **广度与深度** | 专为 DFIR 构建的 MCP server，涵盖内存、磁盘、浏览器、电子邮件、时间线、注册表、EVTX、DLL 和网络 artifacts | | **约束实现** | MCP server 暴露零个 shell/写入/删除工具。每个 artifact 均进行 SHA256 完整性验证。两层防护模型已记录并经过测试 | | **审计跟踪** | `audit/audit_trail.jsonl` — 带时间戳的 JSONL 日志；每个发现均可追溯到证据来源和工具调用 | | **持续学习** | 学习记录、适应决策、学习有效性度量、学习收益跟踪 | | **跨域验证** | 通过独立的取证工具和领域进行精确的 artifact 重叠验证 | | **理论评估** | 竞争性案例理论引擎，维护并评估各种替代解释 | | **运行时优化** | ForensicCache + 并行线索执行 + 记忆化自我纠错，将运行时间从 10.8 分钟缩短至约 6 分钟 | | **可用性** | 单条命令自主运行 (`bash run_investigation.sh`)，以及 OpenClaw 和 Claude Code 交互模式 | ## 架构  **架构模式：** Custom MCP Server — Agent 完全通过类型化的只读 MCP 接口进行通信。 **防护层：** - **第 1 层（架构层）：** MCP server 没有任何写入/删除/shell 工具 — 从结构上杜绝了修改证据的可能性 - **第 2 层（提示词层）：** SOUL.md 和 CLAUDE.md 行为策略限制了 Agent 的执行访问权限 ## 高级自主调查功能 ### 1. 持续学习循环 Agent 在迭代过程中维护结构化的调查记忆，跟踪观察结果、弱点和策略适应情况，以衡量学习收益。 ### 2. 学习有效性引擎 每一次适应都会被度量和验证。跟踪的指标包括：已确认发现增量 · 佐证增量 · 质量得分增量 · 覆盖率增量。 ### 3. 证据扩展引擎 根据发现的 artifacts 生成调查线索。（例如，发现一个暂存文件夹会触发对 LNK artifacts 的搜索以确认访问行为）。 ### 4. 动态调查规划器 通过提出疑问：“这个 artifact 还应该出现在哪里？”来不断重新调整调查任务的优先级。支持 IOC 提取和并行任务执行。 ### 5. 跨工具佐证引擎 通过多个独立取证工具的精确 artifact 重叠来验证发现（例如，将内存中的 PID 与 malfind 注入点进行匹配）。 ### 6. 严格的工具独立性验证 晋升至 CONFIRMED 状态需要多个独立的证据来源以及跨取证领域的精确 artifact 重叠，从而减少幻觉。 ### 7. 竞争性案例理论引擎 同时维护多种解释（间谍活动、授权工作、好奇心），仅在评估所有证据后才达成最终裁定。 ### 8. 运行时优化层 利用 ForensicCache、并行线索执行和自我纠错记忆化，将运行时间从 10.8 分钟缩短至约 6 分钟。 ## 快速开始 ### 前置条件 - SIFT Workstation（基于 Ubuntu 的虚拟机） - Python 3.11+ - Node.js 22+ - OpenClaw 2026.6.5+ - Claude Code (Protocol SIFT) - Volatility3 2.28+ ### 安装说明 ``` git clone https://github.com/ssurekumar01111-hue/sift-aegis.git cd sift-aegis pip install fastmcp "fastmcp[server]" pydantic google-cloud-bigquery python-dotenv volatility3 --break-system-packages ``` ## 运行 SIFT-AEGIS ### 模式 1 — 自主基准测试（带评分的 pipeline） ``` bash run_investigation.sh ``` 运行完整的 3 次迭代自我纠错编排器。Golden 输出位于 `submission_artifacts/` 中。 ### 模式 2 — 交互式 Agent (OpenClaw) ``` nvm use 22 openclaw chat --session demo ``` 然后输入：`run full investigation` Agent 将自主启动调查、监控进度， 并交付带有基准测试分数的最终裁定。 ## 证据数据集 - **来源**：Digital Corpora (M57-Patents) - **内存**：charlie-2009-11-17.mddramimage (2.0 GB) - **磁盘**：charlie-2009-12-11.E01 (3.7 GB) - **场景**：企业知识产权盗窃 — 专利研究外泄 ## 基准测试结果（权威版本 — submission_artifacts/） ### 磁盘层得分（真值评分） | 指标 | 结果 | |---|---| | 评分发现 | 9 项磁盘发现 | | 真值项目 | 10 | | True Positives | 8 | | False Positives | 0 | | False Negatives | 2 | | **Precision** | **1.0** | | **Recall** | **0.8** | | **F1 Score** | **0.8889** | | 幻觉率 | 0.0 | ### 全部发现得分（所有发现） | 指标 | 结果 | |---|---| | 总发现数 | 19 | | **Precision** | **0.3684** | | **Recall** | **0.7** | | **F1 Score** | **0.4828** | | 幻觉率 | 0.6316 | ### 调查性能 | 指标 | 结果 | |---|---| | 迭代次数 | 3 | | 独立工具调用 | 33 | | 运行时间 | 约 6 分钟 | | 学习影响 | HIGH | **准确率报告：** 请参阅 [ACCURACY_REPORT.md](ACCURACY_REPORT.md) 获取完整的误报分析、证据完整性文档和绕过测试结果。 ## 创新贡献 1. **类型化的只读 MCP server** — 20 个工具被封装为 Pydantic 类型化工具；无 shell/写入/删除能力。 2. **自我纠错编排器** — 3 次迭代循环，重新调查低置信度发现并拒绝误报。 3. **真值基准测试套件** — 针对包含 10 个项目的已验证真值 (M57-Patents) 对每次运行进行评分。 4. **持续学习循环** — 量化和跟踪调查策略的适应情况。 5. **竞争性案例理论引擎** — 同时对多种替代解释进行评分。 6. **运行时优化层** — 将调查时间从 10.8 分钟缩短至约 6 分钟。 ## 开源协议 Apache 2.0 — 详见 [LICENSE](LICENSE) 文件。 ## 作者 **Surendra Kumar (MorningStar)** — 个人独立提交 GitHub: [github.com/ssurekumar01111-hue](https://github.com/ssurekumar01111-hue) ## 开发背景 SIFT-AEGIS 是在大约 4 天的时间里（2026 年 6 月 11 日至 15 日）作为个人独立提交项目开发的。调查 pipeline 仅针对包含在 Protocol SIFT 初始语料库中的 M57-Patents 数据集进行了测试。针对下文列出的其他数据集的测试未在提交窗口期内完成，但已计划在提交后进行。 ## 针对其他数据集的测试（提交后路线图） 基于社区验证的 DFIR 数据集，SIFT-AEGIS 可支持运行以下数据集： | 数据集 | 类型 | 状态 | |---|---|---| | M57-Patents（当前） | 验证 | ✅ 已测试，真值评分 | | Nitroba 大学骚扰事件 | 验证（最强） | 🔜 计划中 | | NIST 数据泄露案例 | 验证 | 🔜 计划中 | | NIST 黑客攻击案例 (Greg Schardt) | 验证 | 🔜 计划中 | | DFRWS 2008 Linux 内存挑战赛 | 验证 | 🔜 计划中 | 要针对新数据集运行，请更新 run_investigation.sh 中的证据路径，并提供一个与 ground_truth_rebuilt.json 中 schema 相匹配的 ground_truth.json 文件。

标签：JARM, MCP, Volatility3, 内存分析, 子域名变形, 库, 应急响应, 数字取证, 无线安全, 自动化智能体, 自动化脚本