SaifDataPro/global-threat-intelligence

# 全球威胁与漏洞情报系统 ## 问题描述 SOC 团队面临缺乏上下文的告警疲劳。每天会收到数千条告警，这些告警未与全球威胁情报进行关联，迫使团队不得不在多个工具中进行手动查询，且缺乏统一的视图。 ## 解决方案 一个基于 Microsoft Fabric 构建的端到端数据平台，它从 AlienVault OTX 获取全球威胁情报，将其与模拟的内部公司日志进行关联，并在 Power BI 中提供统一的 SOC 仪表板。 ## 目标用户 - SOC 经理 — 战略风险监督 - SOC 分析师 — 战术 IOC 调查 ## 系统架构 BigQuery（模拟日志） → Fabric Data Factory → OneLake（Bronze/Silver/Gold） → Power BI ## 技术栈 - Microsoft Fabric（Lakehouse、Pipelines、Notebooks、Warehouse、Power BI） - AlienVault OTX API - Google BigQuery - GitHub（版本控制 + 项目管理） - draw.io（架构图） ## 项目方法 - Scrum-lite：2 周迭代 - DataOps：所有 pipeline 和 notebook 的变更均进行版本控制 - Medallion 架构：Bronze → Silver → Gold - 通过 GitHub Projects 跟踪交付进度

标签：Apache Spark, API集成, BigQuery, Bronze Silver Gold, Data Factory, DataOps, draw.io, ESC4, ETL, GPT, Gradle集成, HTTP/HTTPS抓包, IOC, JavaCC, Lakehouse, Medallion架构, Microsoft Fabric, OneLake, OSINT, PB级数据处理, Power BI, Scrum, 代码示例, 企业安全, 入侵指标, 入侵检测系统, 可观测性, 告警疲劳, 商业智能, 大数据架构, 威胁情报, 安全数据湖, 安全运维, 安全运营中心, 实时处理, 密码管理, 开发者工具, 微软Fabric, 态势感知, 敏捷开发, 数据仓库, 数据分析, 数据工程, 数据湖, 数据管道, 漏洞管理, 网络威胁情报, 网络安全, 网络映射, 网络资产管理, 软件工程, 隐私保护, 风险控制