ismailridwans/aegis-foundry

## 🎯 问题所在 —— 人人都在拖地，却无人修理水龙头 ``` ╔══════════════════════════════════════════════════════════════════════╗ ║ Every SOC runs hundreds of correlation searches. ║ ║ A huge fraction are stale, schema-drifted, or never tuned. ║ ║ ║ ║ ┌─────────────────────────┐ ┌──────────────────────────────────┐ ║ ║ │ Alert TRIAGE │ │ Detection ENGINEERING │ ║ ║ │ (downstream symptom) │ │ (upstream — the real cause) │ ║ ║ │ │ │ │ ║ ║ │ ✅ AI triage copilots │ │ ❌ Nobody automates this │ ║ ║ │ ✅ SOAR playbooks │ │ ❌ Manual authoring (days) │ ║ ║ │ ✅ Alert rankers │ │ ❌ Noise discovered in prod │ ║ ║ └─────────────────────────┘ └──────────────────────────────────┘ ║ ║ ↑ ║ ║ THIS IS WHAT WE AUTOMATE ║ ╚══════════════════════════════════════════════════════════════════════╝ ``` 告警疲劳只是一个**症状**。真正的病根在于上游未经调优、未经衡量的检测逻辑。每一个能更快对告警进行分诊的 AI 副驾驶都只是在“拖地”——它们没有一个能减少实际产生的告警。覆盖一种新的威胁技术需要数天到数周的时间：编写、历史验证、误报调优、变更控制——全靠人工。 **Aegis Foundry 专修水龙头。** ## ⚡ 解决方案 —— 一个受治理、自我维护的检测工厂 Aegis Foundry 是一个**十智能体自主流水线**，它将整个检测生命周期闭环*在 Splunk 内部*：发现 MITRE ATT&CK 覆盖盲区，编写 SPL 检测规则，通过 **Splunk MCP Server** 对打标的历史数据进行回测，在部署*之前*使用 **Cisco Deep Time Series Model** 预测其未来的告警噪音负担，将其调优至符合误报预算，**针对规避变体对其进行红队测试**，通过证据包 + 人工审批进行把关，将其部署为原生的 Splunk 保存搜索，然后验证现实是否与预测相符——量化美元收益并证明满足了框架控制要求。每一个智能体操作都会记录在一个**防篡改的哈希链审计账本**中。 ## 🔬 三大核心创新

### 🔮 预测把关部署 **在发布前为噪音定价** Cisco Deep Time Series Model 会在部署*之前*预测规则未来的告警量： ``` predicted/wk vs budget/wk 382.3 > 25 ❌ 2.7 ≤ 25 ✅ ``` 超出预算意味着它**不予发布**。告警噪音成为一种部署前的契约，而不是部署后的道歉。

### ⚔️ 红队难关 **针对未来验证，而非过去** 回测召回率衡量的是历史。红队智能体会将打标的攻击突变为忠实于 MITRE 的规避变体并重放它们： ``` 24 variants → 21 caught adversarial recall = 88% miss: -enc alias (flagged) ``` 一个真正的对抗鲁棒性关卡，而不是凭空感觉。

### 🔒 可证明的治理 **将信任作为一种特性** 每次部署都附带一个**证据包** + **8 项策略检查**，一道人工关卡，以及： - SHA-256 **哈希链审计**（防篡改） - **ROI 账本**（每年节省约 $295K） - **NIST 800-53 / CIS** 认证 在一个视图中实现*可观察且可证明*。

## 🗺️ 工作原理 —— 完整流水线流程 ``` flowchart TD ADV["📥 Threat advisory\nCISA AA26-117A"] --> IS["1 · Intel Scout\nextract ATT&CK techniques"] IS --> CC["2 · Coverage Cartographer\nmap live rules → gap T1059.001"] CC --> DA["3 · Detection Author\ndraft SPL · self-correct on validation"] DA --> BE["4 · Backtest Engineer\nreplay 90d labeled history · 5,818 hits"] BE --> NF["5 · Noise Forecaster\nCDTSM forecast → 382/wk OVER budget"] NF -->|over budget| TO["6 · Tuning Optimizer\ntighten rule → v2"] TO -->|re-measure| BE TO -->|within budget · 2.7/wk| RT["7 · Red-Team\n24 evasion variants · 88% caught"] RT --> GOV["8 · Governor\n8 policy checks + evidence pack + human gate"] GOV -->|approve active| DEP["9 · Deployer\nnative saved search + rollback token"] DEP --> VER["10 · Verifier\nweek-1 observed 3.0/wk · drift 1.11 · in band"] VER --> DONE["✅ FORGED BY AEGIS\nROI ~$295K/yr · NIST/CIS attested · audit chain intact"] ``` ## 🏗️ 架构 —— 读取平面与写入平面 ``` flowchart LR subgraph SWARM["🤖 Ten-Agent Swarm (aegis_foundry/agents)"] A["Intel Scout → Cartographer → Author → Backtest →\nForecaster → Tuner → Red-Team → Governor → Deployer → Verifier"] end subgraph SPLUNK["⛓ Splunk Platform"] MCP["Splunk MCP Server\ntoken auth · READ PLANE"] REST["Management REST API\nWRITE PLANE (gated by Governor)"] IDX["(Indexes\nbotsv3 labeled history\naegis_audit flight recorder)"] SS["savedsearches\ndeployed detections"] end subgraph AI["🧠 AI Models"] FSEC["Foundation-Sec-1.1-8B\nMITRE mapping + rationale"] GPT["gpt-oss-120b / 20b\nSPL authoring + tuning"] CDTSM["Cisco Deep Time Series Model\n| apply CDTSM (EWMA fallback)"] SAIA["Splunk AI Assistant\nsaia_generate_spl"] end A <--> MCP A -.-> FSEC & GPT & CDTSM & SAIA CDTSM -.-> MCP MCP <--> IDX A -->|"after Governor approval"| REST --> SS A -->|"hash-chained audit events"| IDX ``` ## 🔄 默认到部署的生命周期 —— 时序 ``` sequenceDiagram actor Ops as 👤 SOC Operator participant Swarm as 🤖 Agent Swarm participant MCP as Splunk MCP participant CDTSM as CDTSM Forecaster participant Gov as Governor participant REST as Splunk REST Swarm->>MCP: list saved searches → gap T1059.001 Swarm->>MCP: validate + backtest SPL (90d) → 5,818 hits, recall 1.0 Swarm->>CDTSM: forecast weekly noise → 382/wk (OVER 25/wk budget) Swarm->>Swarm: tune → v2 → re-forecast 2.7/wk ✅ Swarm->>Swarm: red-team → 21/24 evasion variants caught (88%) Swarm->>Gov: evidence pack + 8 policy checks Gov-->>Ops: approve active / shadow / reject ? Ops->>Gov: approve active ✅ Gov->>REST: create saved search + rollback token Swarm->>MCP: verify week-1 → 3.0/wk vs 2.7 forecast · drift 1.11 in band Note over Swarm: ROI ~$295K/yr · NIST/CIS attested · audit chain verified ``` ## 🤝 十大智能体套件

📂 点击展开 —— 全部十个受治理的智能体

| # | 智能体 | 用途 | 核心特性 | |:-:|-------|---------|-------------| | 1 | `intel_scout` | 摄取情报 | 从安全公告中提取 ATT&CK 技术 (Foundation-Sec) | | 2 | `coverage_cartographer` | 映射覆盖率 | 对比情报与实时保存搜索清单 → 评估差距 | | 3 | `detection_author` | 编写 SPL | 起草检测规则，根据实时语法验证进行自我纠正 | | 4 | `backtest_engineer` | 衡量 | 通过 MCP 重放 90 天的打标历史 → 召回率、精确率、时间线 | | 5 | `noise_forecaster` | 预测 | `\| apply CDTSM` 预测未来每周的告警量（诚实的 EWMA 降级方案） | | 6 | `tuning_optimizer` | 调优 | 将超预算的规则收紧至新版本，直到噪音符合预算 | | 7 | `red_team` | 强化 | 将攻击突变为规避变体 → 对抗性召回率 | | 8 | `governor` | 治理 | 8 项策略检查 + 证据包 + 人工/策略审批关卡 | | 9 | `deployer` | 部署 | 发布原生 Splunk 保存搜索并带有回滚令牌 | | 10 | `verifier` | 验证 | 首周观察值对比预测区间 → 通过 / 重新调优 / 自动回滚 |

## 🧪 测试覆盖率 —— 39 项测试，零妥协 | 测试套件 | 测试数 | 状态 | |---|:---:|:---:| | 流水线状态与契约 | 4 | ✅ 通过 | | Mock MCP / 固化的 SPL 方言 | 7 | ✅ 通过 | | 噪音预测器 (CDTSM + 降级方案) | 3 | ✅ 通过 | | 前三个智能体的黄金路径 | 2 | ✅ 通过 | | 端到端故事线 | 5 | ✅ 通过 | | Web 控制台 (真实 HTTP e2e + 审批) | 4 | ✅ 通过 | | 红队难关 | 2 | ✅ 通过 | | ROI 账本 | 4 | ✅ 通过 | | 防篡改审计链 | 4 | ✅ 通过 | | 合规性认证 | 4 | ✅ 通过 | | **总计** | **39** | **✅ 39 / 39** | CI 会运行代码检查 (ruff) · 单元测试 (Python 3.11 + 3.12) · 离线黄金路径演示 · **AppInspect 预认证**（失败会阻断构建）。 ## 🚀 在线演示 该控制台是一个采用液态玻璃设计的**十一视图、导航驱动的运营仪表盘**： ``` 📊 Command Center → ROI banner, headline KPIs, live feed 🔧 Pipeline → the ten agents handing off live + per-agent detail 🛡 ATT&CK Coverage → gap cells flip to FORGED BY AEGIS + threat-intel feed 📈 Noise Lab → backtest vs forecast + CDTSM confidence-band chart ⚔️ Red-Team → adversarial-recall ring + evasion-variant ledger ⚖️ Governance → browser approvals + 8-check policy gate + evidence packs 🚀 Deployments → native saved searches + rollback token + drift 📋 Compliance → NIST 800-53 / CIS Controls attestation 🛰 Flight Recorder → tamper-evident hash-chained audit ledger 🧠 AI Models → the Cisco + Splunk model stack + live forecaster status 🕘 Run History → every run and its headline outcome ``` ## ⛓ Aegis 如何使用 Splunk 的 AI 技术栈 | Splunk 功能 | 在 Aegis Foundry 中的应用位置 | |---|---| | **Splunk MCP Server** (可流式传输的 HTTP，token 认证) | [`core/mcp_client.py`](aegis_foundry/core/mcp_client.py) — 智能体*唯一*的读取平面：搜索、SPL 验证、保存搜索发现 | | **托管：Cisco Deep Time Series Model** | [`core/hosted_models.py`](aegis_foundry/core/hosted_models.py) — `\| apply CDTSM`，诚实的打标 EWMA 降级方案 | | **托管：Foundation-Sec-1.1-8B** | MITRE 映射 + 逻辑依据 ([`agents/coverage_cartographer.py`](aegis_foundry/agents/coverage_cartographer.py)) | | **托管：gpt-oss-120b / 20b** | SPL 编写 + 调优 ([`agents/detection_author.py`](aegis_foundry/agents/detection_author.py), [`agents/tuning_optimizer.py`](aegis_foundry/agents/tuning_optimizer.py)) | | **AI Toolkit `\| ai` 命令** | [`core/llm.py`](aegis_foundry/core/llm.py) — 通过 SPL 路由补全，确保数据留在 Splunk 中 | | **Splunk AI Assistant (`saia_*`)** | MCP 客户端中的 NL→SPL 起草路径 | | **Python SDK app 模式** | [`splunk_app/`](splunk_app/) — 告警动作，ATT&CK 覆盖率 + 飞行记录仪仪表盘 | | **AppInspect / Dev Tools** | [`scripts/package_app.py`](scripts/package_app.py) + [`ci.yml`](.github/workflows/ci.yml) 预认证任务 | ## ⚙️ 快速开始 —— 60 秒离线运行（无需 Splunk，无需凭证） ``` # 克隆并安装 git clone https://github.com/ismailridwans/aegis-foundry.git cd aegis-foundry pip install -e . # 针对 bundled fixtures 运行完整的 10-agent pipeline python demo/run_pipeline.py --auto-approve # 启动 web console（landing + 11-view dashboard） aegis-foundry ui # → http://127.0.0.1:8787 # 检查运行 aegis-foundry audit # the tamper-evident flight recorder aegis-foundry heatmap # ATT&CK coverage before/after # 运行 test suite（39 个测试） pip install -e .[dev] && pytest ``` 去掉 `--auto-approve` 即可体验**人机闭环**的治理关卡（激活 / 影子 / 拒绝），其中影子部署作为安全的默认选项。 **前置条件：** Python 3.10+。对于离线演示来说这就足够了——测试夹具、字体和资源都已打包在内。

🌐 实战模式 (真实的 Splunk) —— 点击展开

设置 `AEGIS_MODE=live`；**同样的十个智能体**将驱动真实的部署。复制 [`.env.example`](.env.example) 并填写： | 变量 | 用途 | |---|---| | `SPLUNK_MCP_URL` / `SPLUNK_MCP_TOKEN` | Splunk MCP Server (Splunkbase app)，bearer-token 认证 | | `SPLUNK_REST_URL` / `SPLUNK_REST_TOKEN` | 管理 REST API (Deployer 的受治理写入平面) | | `AEGIS_BACKTEST_INDEX` | 打标的历史数据 —— 例如公开的 Splunk **BOTS v3** 数据集 (`botsv3`) | | `AEGIS_LLM_BASE_URL` | 用于编写模型的任何兼容 OpenAI 的 endpoint | - **Splunk Cloud (托管模型)：** AI Toolkit 5.7+ 提供对 Foundation-Sec / gpt-oss 的真实 `\| apply CDTSM` 和 `\| ai` 访问权限 —— 数据绝对不会离开 Splunk。 - **任何地方 (开放权重)：** `docker compose up -d splunk ollama`, `ollama pull gpt-oss:20b`。当无法访问 CDTSM 时，预测器会降级为确定性的 EWMA 模型，并在每个工件中将自己标记为 `fallback-ewma`。

## 🏆 评判标准契合度

📋 点击查看 Aegis 如何映射到每一个评估维度

### ✅ 第一阶段 —— 主题与 API 契合度 **真正基于 Splunk 的智能体化运营。** 十个*作用于* Splunk 的自主智能体（而不是聊天副驾驶），基于 **Splunk MCP Server**、**CDTSM**、**托管模型** (Foundation-Sec, gpt-oss)、**AI Toolkit `\| ai`** 命令、**SAIA** 以及 **AppInspect** 构建。 ### ✅ 技术实现 **带有衡量/调优循环的 10 智能体状态机**，MCP + CDTSM 集成，模拟/实战双重模式，**39 项通过的测试**，**绿色的 CI**，以及一个经过 **AppInspect 验证**的 Splunk app。防篡改的哈希链审计；自我纠正的 SPL 编写。 ### ✅ 设计 **高端的液态玻璃着陆页 + 一个 11 视图的运营控制台** —— 指挥中心 KPI、实时流水线、ATT&CK 锻造厂、噪音实验室、红队难关、治理审批、部署、合规性、飞行记录仪。已在线验证，零 JS 错误。 ### ✅ 潜在影响 **量化的 ROI：每年约 $295K** 的分析师时间节省（单条规则每周避免 449.8 次告警），99%+ 的噪音消除，覆盖时间从数天缩短至数分钟。直击告警疲劳的病根，而非症状。 ### ✅ 创意质量 **位于分诊的上游** —— 每一个竞品都在对告警进行排序或总结；而 Aegis 减少了产生的告警数量。预测把关部署、对抗性红队测试和可证明的治理，对于 SOC 工具来说，每一项单拎出来都是新颖的。

## 🛡 治理与安全 - **证据包** —— SPL 差异、回测表、预测区间、对抗性鲁棒性结果，以及 **8 项策略检查**（真阳性保留、噪音预算、对抗性鲁棒性、爆炸半径扫描等）。 - **人机** —— 交互式审批，默认采取安全的影子部署，并带有超时降级机制。 - **影子模式与回滚** —— 每次部署都会返回一个回滚令牌；当规则失控（超出预算 >10 倍）时，Verifier 会自动回滚。 - **防篡改飞行记录仪** —— 每一个决策都通过 SHA-256 哈希链接；编辑任何过去的条目，`verify_audit_chain()` 都会精准定位断点。 - **读写分离** —— 智能体通过 MCP 读取；唯一的写入路径（部署）位于 Governor 之后。 ## 🧠 为什么 Aegis 脱颖而出 ## 📄 License Apache-2.0 © 2026 Aegis Foundry —— 参见 [LICENSE](LICENSE)。

标签：FTP漏洞扫描, SPL自动化, 多智能体, 安全编排, 安全运营, 扫描框架, 逆向工具