goldrimphi-ship-it/threat-intel-siem-lab

# 威胁情报 SIEM 实验室 一个使用 Elastic Stack 和 MISP 威胁情报构建的家庭实验室 SIEM，展示了从 IOC 摄取到实时警报生成的端到端蓝队能力。 ## 架构 ``` MISP Threat Feeds (CIRCL, Abuse.ch, Botvrij.eu) ↓ Python Ingestion Script (misp_to_elastic.py) ↓ Elasticsearch (misp-iocs index, 160,000+ IOCs) ↓ Kibana Detection Rules (Indicator Match) ↓ Security Alerts Dashboard ``` ## 技术栈 | 组件 | 角色 | |-----------|------| | MISP | 威胁情报平台 — 聚合 IOC 源 | | Elasticsearch 8.x | SIEM 后端 — 存储日志和威胁情报 | | Kibana | SIEM 前端 — 检测规则和警报仪表板 | | Filebeat | 日志摄取 — 系统、身份验证和网络日志 | | Python 3 | 自定义 ETL 脚本 — MISP → Elasticsearch pipeline | | VirtualBox | 在 Windows 宿主机上进行 VM 托管（16GB RAM） | ## 功能特性 - **160,000+ IOCs**：从 MISP 源摄取，包括 CIRCL、Abuse.ch URLhaus、Feodo Tracker 和 Botvrij.eu - **符合 ECS 标准**的威胁指标映射（`threat.indicator.*` 字段） - 通过 cron 作业实现**每小时自动摄取** - **Indicator Match 检测规则**：将实时日志与已知恶意 IP 进行关联 - 在 Kibana Security 中实现带有严重性评分和风险评分的**实时警报** - **状态跟踪**以避免多次运行时的重复索引 ## 检测规则 | 规则 | 类型 | 严重性 | |------|------|----------| | MISP Threat Intel - Malicious IP Match | Indicator Match | 高 | ## 支持的 IOC 类型 - IP 地址（源/目的） - 域名和主机名 - URL - 文件哈希（MD5、SHA1、SHA256） - 电子邮件地址 - 文件名 ## 项目结构 ## 展示的核心技能 - SIEM 架构与部署 - 威胁情报平台集成（MISP） - Elastic Common Schema (ECS) 字段映射 - 自定义 ETL pipeline 开发（Python） - 检测工程（Indicator Match 规则） - SOC 警报分类工作流 ## 环境 - **宿主机：** Windows、VirtualBox - **MISP VM：** Ubuntu、Apache、MySQL - **SIEM VM：** Ubuntu 24、Elasticsearch 8.x、Kibana、Filebeat - **RAM：** 每个 VM 8GB，Elasticsearch JVM 堆内存上限为 1GB

标签：Elastic Stack, IP 地址批量处理, PB级数据处理, 威胁情报, 安全运维, 安全运营, 开发者工具, 扫描框架, 流量重放, 网络信息收集, 越狱测试