Nourmohamed2/AI-Powered-Cyber-Threat-Intelligence-Platform-using-MISP-and-Multi-Source-IOC-Automation

# 基于 MISP 与多源 IOC 自动化的 AI 驱动网络威胁情报平台 开发了一个综合性的网络威胁情报 (CTI) 平台，利用 MISP 在类生产环境中集中化、管理并实施威胁情报。该项目涉及使用 Docker 容器部署 MISP，通过对 MySQL、Redis 和 Nginx 等后端服务的合理配置，确保了系统的可扩展性、服务隔离以及安全的通信。这一设置为大容量威胁数据的获取、存储和分析提供了可靠的基础设施。 项目的关键组成部分之一是构建一个针对 APT28（一个臭名昭著的国家级威胁行为者）的高可信度情报事件。该事件通过结构化标签、MITRE ATT&CK 映射和恶意软件引用进行了丰富，以提供战术和战略层面的背景信息。入侵指标 (IOC)，包括 IP 地址、域名、URL 和文件哈希，均从可信的 OSINT 来源中提取，并转化为 MISP 内的结构化属性，从而实现了高效的关联和检测。 为了增强数据覆盖率并确情报的持续更新，集成了多个外部威胁源，包括 CIRCL OSINT 和 Abuse.ch 的服务（如 URLhaus、ThreatFox 和 MalwareBazaar）。这些威胁源配置了缓存和自动同步功能，将平台转变为一个能够获取实时威胁数据的动态系统。后台任务监控确保了威胁源数据的成功获取和处理，且不影响系统性能。 此外，还开发了一个基于 Python 的自定义 ETL 管道 (`unify_feeds.py`)，用于聚合和标准化来自不同来源的 IOC，包括 MISP 导出文件、CSV 源和基于 JSON 的威胁情报平台。该管道执行了指标类型的标准化、重复数据删除以及数据完整性校验，生成了 CSV 和 JSON 格式的清洁一致数据集。随后，该统一数据集通过 FreeText Import 功能重新导入 MISP，实现了外部处理与内部情报管理的衔接。 最后，使用 Grafana 实现了可视化功能，通过 SQL 查询分析 IOC 分布，并提供有关最常见威胁指标类型的洞察。这一端到端解决方案展示了收集、处理、丰富和可视化网络威胁情报的能力，使其可应用于安全运营中心 (SOC) 环境和实际防御场景。

标签：APT28, CIRCL, Cloudflare, DAST, Docker, ESC4, ETL管道, IOC, IP 地址批量处理, MalwareBazaar, MITRE ATT&CK, Nginx, NIDS, OSINT, Python, Redis, ThreatFox, URLhaus, 域名收集, 失陷指标, 威胁情报, 威胁源集成, 安全数据工程, 安全运营中心, 安全防御评估, 容器化, 开发者工具, 恶意软件分析, 搜索引擎查询, 数据丰富, 数据规范化, 文档安全, 无后门, 生产环境部署, 网络信息收集, 网络安全, 网络映射, 网络调试, 自动化, 请求拦截, 逆向工具, 隐私保护, 高级持续威胁