hiro001-eth/ARGUS-Enterprise-Threat-Intelligence-Pipeline

# ARGUS：企业级威胁情报 Pipeline **ARGUS** 是一个自动化的网络威胁情报 (CTI) pipeline，旨在复刻商业企业安全供应商所使用的精确架构模式。 大多数开源威胁情报平台非常擅长*存储*入侵指标 (IOC)。然而，脱离上下文存储 IOC 会导致告警疲劳。ARGUS 解决了这个问题：它摄取原始情报，将其映射到对手行为 (MITRE ATT&CK)，与内部资产清单进行交叉引用，计算业务风险，并输出优先级告警。 ## 运营仪表盘与视觉导览 ### 1. 主安全概览仪表盘 为安全运营团队提供对活动威胁源、未处理告警、暴露资产和关键绩效指标的实时洞察。 ### 2. 交互式威胁暴露图谱 这是一个力导向的 D3.js 可视化图谱，映射了从威胁行为者和入侵指标 (IOC) 直达企业内部资产的逻辑路径。 ### 3. 优先级告警与安全建议 SOAR Playbooks 提供针对优先级安全告警和自动化、具备上下文感知的隔离建议 playbook 的详细视图。 ### 4. GRC 指标与性能 KPI 提供针对平均检测时间 (MTTD)、平均响应时间 (MTTR) 以及映射到合规框架的 SLA 合规率的高管级报告。 ## 核心优势与功能 1. **多源摄取与标准化**： - 自动从 AlienVault OTX、CISA 已知被利用漏洞 (KEV) 和 MISP 订阅源中拉取数据。 - 将异构数据格式标准化为统一的内部 schema。 - 实现 cursor 跟踪和指数退避，以确保具有弹性的 API 交互。 2. **双向量资产交叉引用**： - **直接匹配**：当发现恶意 IP 或域名正与内部资产通信时触发标记。 - **TTP 适用性**：当活跃攻击活动的技术（例如，T1190 利用面向公众的应用）针对您特定资产上运行的脆弱技术时触发标记。 3. **置信度衰减引擎**： - 实现渐进式 IOC 置信度衰减曲线。如果未被重新观测，指标会随时间推移丧失置信度，自动老化并剔除过期的噪音，以防止误报。 4. **MITRE ATT&CK 映射引擎**： - 将原子指标转化为对手行为。 - 基于标签启发式方法，区分“源已确认”的映射与“启发式推断”的映射。 5. **上下文风险评分引擎**： - 基于威胁置信度、资产业务关键性、暴露向量和威胁行为者上下文（例如，APT 加分项），生成综合风险评分 (0-100)。 6. **建议性 SOAR 模块**： - 为 CRITICAL 级别的告警提议自动化的隔离措施（例如，防火墙拦截、EDR 隔离）。以严格的“仅提供建议”模式运行，在生产安全方面保持防御性的人在回路 姿态。 7. **历史趋势与分析**： - 将共同出现的指标动态聚类为攻击活动画像。 - 为 GRC 和高管报告快照逐月的暴露趋势。 ## 系统架构 该 pipeline 在 6 个连续的阶段中运行，由 `APScheduler` 定期触发： 1. **摄取阶段** (`ingestion.py`)：从远程来源获取情报。 2. **过滤与标准化** (`allowlist.py`, `normalization.py`)：剔除良性的 RFC1918/DNS 噪音，并映射到统一的 schema。 3. **富化与映射** (`enrichment.py`, `mitre.py`)：添加地理位置/ASN 数据，并将标签映射到 MITRE ATT&CK 技术。 4. **交叉引用** (`matcher.py`)：将活跃情报与内部 SQLite `assets` 资产清单进行匹配。 5. **风险评分** (`scoring.py`)：使用资产关键性约束计算综合风险评分。 6. **告警与分发** (`pipeline.py`, `notifications.py`)：起草 SOAR playbook，发送 Slack/Teams webhook 告警，并导出通用事件格式 (CEF) 日志。 ## 快速入门指南 ### 前置条件 - Python 3.10+ - `pip` ### 安装说明 1. 克隆仓库： git clone https://github.com/yourusername/argus-threat-pipeline.git cd argus-threat-pipeline 2. 创建并激活虚拟环境： python -m venv .venv source .venv/bin/activate # 在 Windows 上使用：.venv\Scripts\activate 3. 安装依赖： pip install -r requirements.txt 4. 配置环境变量： 将 `.env.example` 复制为 `.env` 并添加您的可选 API 密钥（OTX, MISP, Slack webhooks）。如果留空，系统将平滑回退到高保真模拟数据以用于演示目的。 ### 运行系统 启动 FastAPI 后端和后台 pipeline 调度器： ``` uvicorn main:app --reload ``` - **运营仪表盘**：`http://localhost:8000/` - **API 文档**：`http://localhost:8000/docs` ## 测试 该项目包含一个健壮的 `pytest` 测试套件，涵盖标准化、去重、衰减计算、交叉引用和风险评分。 ``` pytest tests/ -v ``` ## 许可证 该项目采用 MIT 许可证授权 - 详情请参阅 [LICENSE](LICENSE) 文件。 ## 免责声明 本项目出于演示目的使用模拟的资产清单和模拟数据回退。模拟的 SOAR 引擎在建议模式下运行。在未实施严格、具备上下文感知的安全检查之前，请勿修改 SOAR 引擎以主动拦截网络流量。

标签：Cloudflare, MITRE ATT&CK, 代码示例, 威胁情报, 安全运营, 开发者工具, 扫描框架, 数据分析, 自动化响应, 逆向工具