etern1ty-crypto/SIGMA-PROBE

## 🇬🇧 概述 **SIGMA-PROBE Helios v2.0** 是一个模块化的安全遥测分析引擎，通过多阶段的富化和检测 pipeline 处理 Web 访问日志，从而识别恶意行为者和协调威胁活动。 它将静态日志数据转化为动态的行为图景——通过 FFT 频谱分析、基于图的聚类以及 MITRE ATT&CK 标记，检测自动化扫描器、协调僵尸网络和复杂的多阶段攻击。 ### 核心能力 | 特性 | 描述 | |:---|:---| | **多维标记** | 行为者接收多个行为标签，而非单一的战术分类 | | **FFT 频谱检测** | 通过快速傅里叶变换捕获周期性僵尸网络模式，甚至能应对带有抖动的模式 | | **图活动聚类** | 使用 NetworkX 介数中心性识别协同攻击者 | | **行为向量** | 50 维归一化向量 + 余弦相似度用于攻击分组 | | **MetaDetector ("董事会")** | 跨检测器交叉验证结果，解决误报问题 | | **MITRE ATT&CK 映射** | 专业的威胁分类，提供可操作的建议 | | **数据驱动配置** | 所有阈值、修正值和规则均位于 YAML 中——无需重新编译 | | **动态 IoC 订阅源** | 自动从外部来源更新威胁情报 | ### 架构 ``` ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ Ingestion │ │ Enrichment │ │ Profiling │ │ (Nginx/Apache │───▶│ (Features + │───▶│ (Actor │ │ JSON logs) │ │ Heuristics) │ │ Aggregation) │ └─────────────────┘ └─────────────────┘ └─────────────────┘ │ ┌─────────────────┐ ┌─────────────────┐ ┌─────────▼───────┐ │ IoC Feeds │ │ Detection │ │ MetaDetection │ │ (Threat Intel)│───▶│ (FFT/Graph/ │───▶│ (Cross-Valid + │ │ │ │ Anomaly) │ │ Confirmation) │ └─────────────────┘ └─────────────────┘ └─────────────────┘ │ ┌─────────────────┐ ┌─────────────────┐ ┌─────────▼───────┐ │ Reporting │◀───│ Narrative + │◀───│ Scoring │ │ (Evidence │ │ Recommendations│ │ (Rules Engine │ │ Trail) │ │ (MITRE ATT&CK) │ │ + Campaigns) │ └─────────────────┘ └─────────────────┘ └─────────────────┘ ``` ### 快速开始 ``` # 安装 dependencies poetry install # 对 access log 运行分析 poetry run python -m sigma_probe.main --config config.yaml --input access.log # 运行测试 poetry run pytest -v # 使用 Docker 运行 docker build -t sigma-probe . docker run -v $(pwd)/logs:/data sigma-probe --input /data/access.log ``` ### 项目结构 ``` src/sigma_probe/ ├── models/ │ └── core.py # LogEvent, ActorProfile data models ├── pipeline/ │ ├── base.py # Abstract Pipeline, Enricher, Detector │ ├── ingestion.py # Nginx, Apache, JSON log parsing │ ├── profiling.py # Actor aggregation & behavioral metrics │ ├── detectors.py # FFT, Graph, Anomaly detection │ ├── metadetector.py # Cross-validation & false-positive resolution │ ├── scoring.py # Behavioral clustering & campaign grouping │ └── rules_engine.py # YAML-driven threat scoring ├── intelligence/ # IoC feeds & threat intel └── main.py # CLI entrypoint tests/ ├── test_detectors.py # Detection logic tests ├── test_models.py # Data model tests ├── test_scoring.py # Scoring engine tests └── test_lfi_scenario.py # BDD threat scenario tests ``` ### 技术栈       ## 🇷🇺 描述 **SIGMA-PROBE Helios v2.0** 是一个用于安全威胁分析的模块化分析引擎。它通过多阶段的富化和检测 pipeline 处理 Web 服务器日志，识别恶意行为者和协调攻击。 ### 核心创新

1. 标签系统取代“第一战术独裁”

- **多维分类**：行为者获得多个标签，而非单一的战术 - **组合分析**：系统能够理解标签间的交互（LFI + AUTOMATED_SCAN = 严重威胁） - **上下文评估**：基于行为模式的组合来评估威胁

2. FFT 频谱分析

- **FFT + 自相关**：检测非严格周期性的模式 - **窗口分析**：识别请求频率的急剧变化 - **自适应僵尸网络**：捕获带有抖动的复杂攻击

3. 图活动聚类

- **行为向量**：50 维归一化向量 - **余弦距离**：精确判定攻击相似度 - **介数中心性**：通过 NetworkX 识别协调者

4. “董事会”

- **交叉验证**：重新检查所有检测器的结论 - **确认机制**：CONFIRMED_BOTNET, CONFIRMED_COORDINATED - **解决冲突**：ISOLATED_INDICATOR, FALSE_POSITIVE

5. 叙事引擎 + MITRE ATT&CK

- **可操作建议**：系统提供具体的解决方案 - **映射**：专业的网络安全语言 - **优先级划分**：HIGH/MEDIUM/LOW 并附带具体操作

### 快速开始 ``` # 安装 dependencies poetry install # 运行分析 poetry run python -m sigma_probe.main --config config.yaml --input access.log # 运行测试 poetry run pytest -v # Docker docker build -t sigma-probe . docker run -v $(pwd)/logs:/data sigma-probe --input /data/access.log ``` ### 输出示例 ``` { "actor": "203.0.113.42", "threat_level": "CRITICAL", "score": 94.7, "tags": ["AUTOMATED_SCAN", "LFI_PROBE", "CREDENTIAL_STUFFING"], "campaign": "campaign_alpha_7", "mitre_tactics": ["TA0043", "TA0001", "TA0006"], "recommendations": [ {"priority": "HIGH", "action": "Block IP range 203.0.113.0/24"}, {"priority": "MEDIUM", "action": "Enable WAF rule for path traversal"} ] } ```

标签：CISA项目, Cloudflare, Docker, FFT分析, MITRE ATT&CK, NetworkX, PFX证书, Poetry, Python, Sigma规则, Web日志分析, 僵尸网络检测, 协调攻击分析, 图聚类, 威胁情报, 安全分析引擎, 安全分析框架, 安全遥测, 安全防御评估, 密码管理, 开发者工具, 开源安全工具, 攻击检测, 数据丰富化, 无后门, 特权检测, 目标导入, 突变策略, 网络信息收集, 网络安全, 自动化扫描器检测, 请求拦截, 逆向工具, 逆向工程平台, 隐私保护, 频谱分析