Maqsood32595/FractalSwarm-SRE
GitHub: Maqsood32595/FractalSwarm-SRE
一个自主分层的事件响应控制平面，通过 WebAssembly 边缘日志去重、分层 agent 诊断与人在回路审批，高效解决复杂系统的事件分发与自动化缓解问题。
Stars: 0 | Forks: 0
# FractalSwarm (AetherSRE V2)
### 自主分层 SRE 控制平面与事件响应引擎
一个自主的、人在回路的事件响应系统，旨在自动化事件分发、遥测去重和安全修复。该平台将分层 agent 拓扑结构与基于 WebAssembly 的按位日志聚类、API 并发调度以及结构化安全网关结合在一起。
## ⚡ 核心亮点
* **降低 90% LLM Token 成本：** 通过在摄入边缘运行 Zig 编译的 WebAssembly POPCNT 过滤器，冗余日志行可在**微秒级**完成去重，确保仅针对唯一的高熵事件调用 LLM。
* **API 速率限制豁免：** 实现了顺序 Express 排队网关 (`ConcurrencyQueue`) 和指数退避重试辅助程序 (`retryWithBackoff`)，以优雅地处理高负载事件风暴，而不会触及 LLM API 配额限制。
* **分层 Swarm 拓扑：** 使用 Mastra 工作流执行 Parent-Child-Grandchild（父-子-孙）agent 树，维持严格的最低权限模型，其中进行日志解析的 grandchild 节点对系统 shell 没有任何写入权限。
* **人在回路的控制 (HITL)：** 工作流在批准网关处挂起，为操作员提供一个交互式控制台，以便在执行前检查、编辑和批准动态生成的 playbook。
## 📂 仓库结构
为了使该架构具有高度的可复现性，它被结构化为模块化、可重用的包：
* **[`/core-wasm`](file:///d:/HiDevs/GoogleAgents/core-wasm/README.md):** 独立的 Zig 源代码和编译后的独立 WebAssembly POPCNT 过滤器。包含一个 Node.js 脚本，用于独立运行高速二进制日志去重。
* **[`/orchestration-blueprint`](file:///d:/HiDevs/GoogleAgents/orchestration-blueprint/README.md):** 核心的 Mastra 工作流蓝图（agents、工具、步骤和重试逻辑），用于创建有状态、高弹性的 SRE swarm。
* **`/server`:** Express API 网关、Safety Guard 中间件以及实时控制平面仪表板。
* **`stream_gcp_logs.js`:** 遥测桥接器，负责扫描和分类多项目 GCP 日志事件。
* **`stream_transport_logs.js`:** 实时遥测桥接器，负责获取和分发实时的伦敦交通 (TfL) 服务中断事件。
## ⚙️ 架构概述
```
[ Raw Event Streams ] (GCP / TfL APIs)
│
▼
[ core-wasm: Zig Filter ] (XOR-POPCNT Clustering)
│ (Deduplicated Incident Hashes)
▼
[ Sequential Queue ] (Express Routing)
│
▼
[ orchestration-blueprint Swarm ] (Mastra Workflow)
│
[ Parent Incident Commander ]
│
┌──────────────┴──────────────┐
▼ ▼
[ Child Domain Specialist ] [ Child Domain Specialist ]
(Database Specialist) (Storage Specialist)
│ │
▼ ▼
[ Grandchild Log Parser ] [ Grandchild Log Parser ]
(Read-only log/metrics) (Read-only log/metrics)
│
▼
[ Safety Guard Middleware ]
│
▼
[ Human Operator Gate ] (Approve & Edit)
│
▼
[ Parallel Shell Executor ] (RESOLVED)
```
## 🚀 快速开始
### 前置条件
* Node.js v18+
* 已通过 Google Cloud CLI (`gcloud`) 身份验证（仅在执行真实的 GCP 遥测扫描时需要）。
### 安装
1. 克隆仓库：
git clone https://github.com/Maqsood32595/FractalSwarm-SRE.git
cd FractalSwarm-SRE
2. 安装依赖：
npm install
3. 配置环境变量：
在根目录下创建一个 `.env` 文件：
GOOGLE_API_KEY=your_gemini_api_key_here
PORT=3002
### 运行控制平面
1. 启动服务器和仪表板：
npm run dev
在浏览器中打开 **`http://localhost:3002`**。
2. 触发遥测摄入：
* **实时伦敦交通数据：** 点击仪表板上的紫色按钮，从 TfL 的公开 API 拉取实时服务中断信息。
* **GCP Cloud Logging：** 点击绿色按钮，扫描来自已配置 GCP 项目的日志。
* **日志风暴模拟器：** 运行基准测试模拟器，实时针对 1,000 个并发告警查询 Zig/WASM 的匹配速度。
## 🛡️ 生产环境强化路线图
当前实现是一个功能原型。以下安全与合规新增功能旨在与现有代码库开箱即用：
* **爆炸半径沙盒化：** 将 `Execute Mitigations` 功能标志设置为 `DISABLED`，以便在试运行诊断模式下运行 agent swarm，防止写入访问。
* **PII 清洗：** 在摄入管道中添加正则表达式过滤器，以在将日志上下文传递给 LLM API 之前掩码敏感数据（电子邮件、IP）。
* **无状态存储：** 将内存中的工作流映射替换为 Redis 缓存，以在服务器重启后维持 agent 状态。
标签：AIOps, AI工具, LLM代理, MITM代理, SRE, WebAssembly, 偏差过滤, 自动化攻击, 自动化运维