dfir-g0blin/project-vanguard-intel-pipeline

# 先锋项目：自治型 GitOps 检测工程流水线 一套面向企业环境、基于 GitOps 的安全架构，旨在消除静态威胁指标（IOCs）的结构性衰减问题。先锋项目实现了高保真威胁情报摄取、编程化护栏校验、抽象规则编译及云端 SIEM 主动部署全生命周期的自动化。 ## 1. 架构概览与设计 ### 问题所在 传统检测工程流程对威胁情报采用动态处理，但对 SIEM 规则却采用静态管理。当威胁源（例如 C2 IP 地址）更新时，工程师必须手动编辑规则，导致严重的运维瓶颈、高配置漂移率以及过时的检测规则。 ### 解决方案 先锋项目严格遵循“检测即代码”（GitOps）原则。通过自动化 Python 编排引擎和 **pySigma**，抽象威胁特征与动态变化的指标解耦。自动化 CI/CD 循环从多个开源情报（OSINT）源实时拉取基础设施数据，在内存中对指标进行去重，通过严格的企业健康护栏过滤，编译为原生 Cloud SIEM 语法（YARA-L），并通过 API 更新活跃检测状态。 ### 核心实践展示 * **检测工程：** 使用模板参数注入在抽象 Sigma 规则（`status: stable`）中无缝实现逻辑与参数解耦。 * **多源摄取与标准化：** 编程聚合多源情报（Feodo Tracker 与 URLhaus），并在编译前利用高性能 Python 数据集原生去重追踪数组。 * **事件响应自动化：** 编程化白名单检查，将传入的威胁遥测数据与关键业务子网及可信 DNS 提供商比对，防止灾难性自阻断或上游源污染变量。 * **DevSecOps / GitOps：** 通过版本控制追踪抽象层原生管理完整执行状态，在现代化的 GitHub Actions 运行时参数上运行。 ## 2. 部署与执行指南 本仓库结构支持无缝本地测试，或通过 GitHub Actions 实现完全解耦执行。 ### 前置条件 * Python 3.11+ ### 本地安装与设置 1. 克隆仓库： git clone [https://github.com/dfir-g0blin/project-vanguard-intel-pipeline.git](https://github.com/dfir-g0blin/project-vanguard-intel-pipeline.git) cd project-vanguard-intel-pipeline 2. 安装必要的转换、HTTP 客户端及解析框架： pip install pysigma pysigma-backend-secops google-auth requests ioc-finder ### 运行本地模拟验证 要在本地测试流水线且不向生产环境推送活跃配置，请使用默认模拟约束执行编排器脚本： ``` # 这会拉取实时信息流，根据允许列表进行过滤，并打印编译后的 YARA-L 逻辑 python scripts/vanguard_orchestrator.py ``` ## 3. 风险管理与企业级护栏 * **上游源污染：** 通过 `scripts/enterprise_allowlist.json` 文件管理。若威胁情报源意外包含公共 DNS 提供商（如 1.1.1.1）或内部 RFC 1918 公司地址范围，编排器将在编译前自动剥离这些内容。 * **SIEM 文件大小限制：** 引擎会追踪数组大小约束。若外部情报源出现不可预测的数据激增，编译器将把数据分割至多个规则批次（Vanguard_C2_Part1, Vanguard_C2_Part2），确保 SIEM 编译零丢弃。 * **弹性优雅降级：** 内置错误处理包裹所有摄取步骤。若外部 OSINT 提供商发生中断，脚本将捕获故障并提供经过验证的备用遥测矩阵，保障流水线连续性。 ## 4. 未来路线图与扩展性 由于先锋项目完全模块化，该流水线设计易于扩展至更广泛的安全运营领域： * **自动化回溯狩猎：** 在同步周期中集成自动化钩子，编程将新识别的 IOC 传递给 SIEM 回溯 API（例如 Google SecOps UDM Search API），以扫描过去 30 天的冷存储日志，寻找历史入侵痕迹。 * **LLM 分类增强：** 与推理 API（如 Anthropic 的 Claude）对接，在编译过程中摄取原始威胁情报更新，并自动生成纯文本分析师调查摘要，直接嵌入 YARA-L 元数据块中。

标签：AMSI绕过, DevSecOps, GitOps, LLM辅助, Python, YARA-L, 上游代理, 多源情报, 威胁情报, 威胁检测, 实时检测, 开发者工具, 情报摄取, 指标解耦, 数据规范化, 无后门, 网络安全, 网络调试, 自动化, 规则编译, 逆向工具, 隐私保护