yuktac1011/TrustMatrix

## 📌 目录 - [🧠 核心价值主张](#-core-value-proposition) - [🎯 核心功能与模块](#-key-features--modules) - [🎨 下一代 UI/UX 设计系统](#-next-gen-uiux-design-system) - [🏛️ 系统架构](#️-system-architecture) - [💻 技术栈](#-tech-stack) - [📁 仓库结构](#-repository-structure) - [⚡ 评委本地快速入门指南](#-local-quickstart-guide-for-judges) - [🎬 评委演示指南](#-judge-demonstration-walkthrough) - [📡 API 参考](#-api-reference) - [📄 许可证](#-license)
## 🧠 核心价值主张 传统的安全信息和事件管理 (SIEM) 工具在面对内部攻击时往往会失效，因为内部人员使用的是**有效凭证**进行操作。简单的基于阈值的规则无法区分合法的大工作量与恶意的敏感数据窃取。 TrustMatrix 改变了这一范式： ### TrustMatrix 的优势所在： 1. **动态基线计算**：学习每个用户/实体的正常工作时间、每日数据传输量、授权设备和允许的地理位置。 2. **多模型异常检测**：结合 **Isolation Forests**、**Autoencoder neural loss** 和统计 z-scores 来评估遥测数据。 3. **图谱智能与同业分析**：识别横向移动，并将异常分数与部门同群体进行比较，以抑制噪声。 4. **GenAI SOC Copilot 与 SOAR Playbooks**：自动将威胁映射到 **MITRE ATT&CK** 技术，并生成可操作的、循序渐进的补救 Playbook。
## 🎯 核心功能
| 模块 | 功能说明 | |---|---| | 🗂️ **日志接入** | 接入模拟的组织日志，包括文件访问、登录和数据传输。 | | 🔬 **行为基线建模** | 为每个用户/实体建立正常行为模式，作为基准线。 | | 📏 **异常检测引擎** | 使用机器学习和统计模型，而不是纯粹基于规则的触发机制。 | | 🛡️ **风险引擎与评分** | 分配综合风险评分，用于优先处理警报仪表板。 | | 📉 **低误报设计** | 在将事件标记为异常之前，通过关联多个信号来减少警报疲劳。 |
## ✨ 额外扩展功能
| 模块 | 功能说明 | |---|---| | 🤖 **SOC Co-pilot** | 由 LLM 驱动的助手 (GenAI)，帮助分析师结合上下文调查警报。 | | 🕸️ **图谱智能** | 使用网络图 (`networkx`) 映射实体关系（用户、设备、IP），以检测横向移动。 | | 👥 **同业分析** | 将个人行为与其同业或部门进行比较，以更准确地识别异常值。 | | 👻 **影子账户** | 识别可能被内部人员利用的无人管理、孤立或未经授权的账户。 | | 🧠 **NLP 主题引擎** | 使用 Latent Dirichlet Allocation (LDA) 主题建模，检测异常的文档内容访问模式和敏感数据漂移。 | | 📊 **CERT 基准评估器** | 根据 Precision、Recall 和 ROC-AUC 指标，针对卡内基梅隆大学的 CERT 内部威胁数据集对异常模型进行基准测试。 | | 🛠️ **SOAR 自动补救** | 具备审计日志的即时遏制 Playbook（主机隔离、账户锁定、Token 吊销、强制 MFA、IP 封锁、文件隔离）。 | | ⚡ **实时 WebSockets** | 通过 WebSockets 将关键警报即时推送到仪表板，以便立即响应。 | | 🎯 **威胁模拟器** | 内置引擎，可安全模拟逼真的内部威胁场景，用于持续测试和验证。 |
## 🎨 下一代 UI/UX 设计系统 前端 (`frontend1`) 是从零开始构建的，其高级美学灵感来源于 **Linear、Vercel、Apple VisionOS 和 Arc Browser**： - **调色板**：深黑色 × 电光紫 (`#000000` / `#7c3aed` / `#09090b`)。 - **玻璃拟态**：半透明的 `.glass-panel` 卡片，带有背景模糊、细微的边框以及散发动态底部光晕的灯光效果。 - **排版**：通过 `@import` 全局导入 **IBM Plex Serif** 实现完整的排版样式。 - **自适应明暗模式**：头部的太阳/月亮主题切换功能，为黑暗和明亮环境提供高对比度且美观的主题。
## 🏛️ 系统架构 ``` ┌─────────────────────────────────────────┐ │ TrustMatrix Platform │ └─────────────────────────────────────────┘ │ ┌──────────────────────────────────┴──────────────────────────────────┐ │ │ ┌────────────▼─────────────┐ ┌─────────────────────────▼──────────┐ │ Next.js 16 Frontend │ │ FastAPI Backend (Python 3.10+) │ │ (App Router, React 19) │ │ http://localhost:8000/api/v1 │ │ │ │ │ │ ┌────────────────────┐ │ REST API Requests (api.ts)│ ┌──────────────────────────────┐ │ │ │ Overview Dashboard │ ├────────────────────────────┼─►│ Log Ingestion & Normalizer │ │ │ │ Ingestion Terminal │ │ │ ├──────────────────────────────┤ │ │ │ Baseline Engine │ │ │ │ Baseline Engine │ │ │ │ ML Simulator │ │ │ ├──────────────────────────────┤ │ │ │ GenAI SOC Copilot │ │◄────────────────────────────┼──┤ ML Ensemble (Isolation │ │ │ └────────────────────┘ │ JSON Telemetry & Reports │ │ Forest & Autoencoders) │ │ │ ┌────────────────────┐ │ │ ├──────────────────────────────┤ │ │ │ IBM Plex Serif │ │ │ │ GenAI SOC Copilot & SOAR │ │ │ │ Light/Dark Glass │ │ │ ├──────────────────────────────┤ │ │ └────────────────────┘ │ │ │ Peer Analysis & Shadow Accts │ │ └──────────────────────────┘ │ └──────────────────────────────┘ │ └────────────────────────────────────┘ ```
## 💻 技术栈 ### 前端 (`frontend1`) - **框架**：Next.js 16 (React 19) - **样式**：原生 CSS + Tailwind CSS v4 - **排版**：IBM Plex Serif - **图标**：Lucide React - **图表与可视化**：Chart.js / React-ChartJS-2 / Framer Motion - **API 集成**：带有原生 `fetch` 的自定义中央 `api.ts` 模块 ### 后端 (`backend`) - **框架**：FastAPI (Python 3.10+) - **服务器**：Uvicorn ASGI Server - **机器学习与数据科学**：`scikit-learn` (Isolation Forest), `numpy`, `pandas` - **图谱智能**：`NetworkX` - **GenAI Copilot**：OpenAI / Google Generative AI 集成
## 📁 仓库结构 ``` AUTONOMOUS-THREAT-HUNTER-FOR-INSIDER-ATTACKS/ ├── 📂 frontend1/ # Next.js 16 Futuristic UI │ ├── 📂 app/ # App router (globals.css, layout.tsx, page.tsx) │ ├── 📂 components/ # UI layout components │ │ ├── Header.tsx # Top navigation with Sun/Moon theme toggle │ │ ├── Sidebar.tsx # Active tab navigation bar │ │ └── 📂 views/ # Feature views │ │ ├── OverviewTab.tsx # Executive threat overview & metrics │ │ ├── IngestorTab.tsx # Log ingestion console & pipeline output │ │ ├── BaselinesTab.tsx # Entity baseline search & 24h heatmap │ │ ├── MLSimulatorTab.tsx # Interactive parameter sliders & ML gauge │ │ └── CopilotTab.tsx # GenAI SOC Copilot & remediation playbook │ ├── 📂 lib/ # Central API service │ │ └── api.ts # Backend API connection functions │ └── 📄 package.json # Next.js dependencies ├── 📂 backend/ # FastAPI Python Application │ ├── 📄 requirements.txt # Python dependencies │ ├── 📄 .env # Environment config & API keys │ └── 📂 app/ # Core backend codebase │ ├── 📄 main.py # FastAPI entry point & router registrations │ ├── 📂 core/ # Config & security settings │ └── 📂 features/ # Threat Intelligence Engines │ ├── 📂 anomaly_detector/ # Isolation Forest & Autoencoder models │ ├── 📂 baseline_engine/ # Entity profiling & baseline storage │ ├── 📂 cert_evaluator/ # CERT benchmark dataset evaluator & metrics │ ├── 📂 graph_intelligence/ # NetworkX relationship mapping & lateral movement │ ├── 📂 log_ingestor/ # High-speed log ingestion & normalization pipeline │ ├── 📂 nlp_topic_engine/ # LDA topic modeling for document access drift │ ├── 📂 peer_analysis/ # Peer cohort outlier detection │ ├── 📂 risk_engine/ # Composite risk scoring engine │ ├── 📂 shadow_accounts/ # Unmanaged/orphaned account discovery │ ├── 📂 soar_remediation/ # Active containment playbooks & audit logging │ ├── 📂 soc_copilot/ # GenAI explanation & triage engine │ ├── 📂 threat_simulator/ # Simulated attack vector generation │ └── 📂 websocket_alerts/ # Real-time alert streaming └── 📄 README.md # Hackathon project documentation ```
## ⚡ 评委本地快速入门指南 请按照以下简单步骤在您的本地计算机上运行**后端**和**前端**进行评估。 ### 前置条件 - **Python**：已安装 3.10 或更高版本 - **Node.js**：已安装 18.0 或更高版本 ### 第一步：启动 FastAPI 后端 打开终端并执行： ``` # 1. 导航至 backend 目录 cd backend # 2. 创建并激活虚拟环境 # Windows (PowerShell): python -m venv venv .\venv\Scripts\activate # Linux / macOS: # python3 -m venv venv # source venv/bin/activate # 3. 安装 backend 依赖 pip install -r requirements.txt # 4. 启动 backend 服务器 uvicorn app.main:app --reload --port 8000 ``` ### 第二步：启动 Next.js 前端 打开**第二个终端**并执行： ``` # 1. 导航至 frontend 目录 cd frontend1 # 2. 安装 Node 依赖 npm install # 3. 启动 Next.js 开发服务器 npm run dev ```
## 🎬 评委演示指南 要在评估期间体验 **TrustMatrix** 的全部功能，请按照以下 4 步测试指南进行操作： ### 第一步：检查实体基线 (`Baselines Tab`) 1. 点击侧边栏中的 **Baselines**。 2. 在搜索栏中输入 `admin_user`，然后点击 **Retrieve Profile**（或按 Enter 键）。 3. **观察重点**：前端会向 `GET /api/v1/baseline/admin_user` 发起实时调用。用户的基线卡片将渲染他们的 **Average Daily Bytes**（平均每日字节数）、**Max Daily Threshold**（最大每日阈值）以及可交互的 24 小时 **Typical Working Hours**（典型工作时间）热力图。 4. 点击 **Recalculate Baseline** 以测试实时配置文件重新计算。 ### 第二步：传输实时遥测数据 (`Log Ingestor Tab`) 1. 点击侧边栏中的 **Log Ingestor**。 2. 选择一个模板（例如，*Windows: Successful Login*），或者在 JSON 编辑器中输入自定义遥测数据。 3. 点击 **Transmit Log Batch to Pipeline**。 4. **观察重点**：日志接入终端会通过 `POST /api/v1/ingest/` 将进度输出直接流式传输到输出日志窗口。 ### 第三步：运行 ML 集成模拟器 (`ML Simulator Tab`) 1. 点击侧边栏中的 **ML Simulator**。 2. 调整滑块以模拟可疑行为： - **Login Hour**（登录时间）：`3` (凌晨 3:00) - **Failed Login Ratio (%)**（登录失败率）：`45%` - **Bytes Transferred (KB)**（传输字节数）：`85,000 KB` - **Admin Commands**（管理命令）：`8` 3. 点击 **Execute ML Ensemble Evaluation**。 4. **观察重点**：前端会将特征数据发布到 `POST /api/v1/anomaly/analyze`。环形仪表盘会播放动画，状态切换为 **ANOMALY DETECTED**，并且 **Isolation Forest Score** 和 **Autoencoder Loss** 会实时计算。 ### 第四步：触发 GenAI SOC Copilot 和 SOAR Playbook (`AI SOC Copilot Tab`) 1. 点击侧边栏中的 **AI SOC Copilot**。 2. 查看预填写的调查上下文（目标用户：`admin_user`，风险评分：`84`，指标：`Late hour activity, Massive data transfer`）。 3. 点击 **Ask AI SOC Copilot to Explain**。 4. **观察重点**：GenAI 引擎通过 `POST /api/v1/copilot/explain` 处理请求。它会生成 **Executive Summary**（执行摘要），将疑似战术映射到 **MITRE ATT&CK**（`T1078`，`T1048.002`），并渲染一个带有编号补救步骤的 **Actionable Incident Response Playbook**。
## 📡 API 参考 以下是托管在 `http://localhost:8000/api/v1` 的核心 REST API endpoint： | Endpoint | Method | 功能 | 描述 | |---|---|---|---| | `/health` | `GET` | 系统 | 健康检查及活跃功能引擎列表 | | `/api/v1/ingest/` | `POST` | 接入 | 接入原始遥测日志 payload | | `/api/v1/baseline/{username}` | `GET` | 基线 | 获取历史行为档案和指标 | | `/api/v1/baseline/{username}/recalculate` | `POST` | 基线 | 使用新的事件流重新计算基线 | | `/api/v1/anomaly/analyze` | `POST` | ML 引擎 | 运行 Isolation Forest 和 Autoencoder 评估 | | `/api/v1/copilot/explain` | `POST` | GenAI SOC | 生成威胁摘要和响应 Playbook | | `/api/v1/nlp/analyze-topics` | `POST` | NLP 引擎 | 执行 LDA 主题提取和敏感数据漂移分析 | | `/api/v1/benchmark/evaluate` | `POST` | CERT 基准 | 针对 CERT 数据集评估异常检测效果 | | `/api/v1/remediation/isolate-host` | `POST` | SOAR Playbook | 触发主动主机隔离和遏制 | | `/api/v1/remediation/lock-user` | `POST` | SOAR Playbook | 锁定受损账户并吊销活跃 token | | `/api/v1/risk/alerts` | `GET` | 风险引擎 | 获取按优先级排序的风险警报 |
## 📄 许可证 基于 MIT 许可证分发。详情请参阅 [`LICENSE`](./LICENSE)。

标签：SOAR, UEBA, 人工智能, 内部威胁检测, 安全运营, 扫描框架, 特权检测, 用户模式Hook绕过, 逆向工具