MichaelWLannen/Automated-Threat-Intelligence-Pipeline-MISP-to-Splunk-Core
GitHub: MichaelWLannen/Automated-Threat-Intelligence-Pipeline-MISP-to-Splunk-Core
该项目实现了从 MISP 到 Splunk 的端到端威胁情报自动化摄取与实时关联检测流水线，解决手工管理威胁指标效率低、难以与网络日志做持续比对的问题。
Stars: 0 | Forks: 0
# 自动化威胁情报流水线：MISP 到 Splunk Core
## 项目概述
本项目展示了在本地化安全运营沙箱中，将容器化的恶意软件信息共享平台（MISP）实例与 Splunk Enterprise 进行架构集成的过程。完整的流水线负责编排开源指标源（AlienVault OTX）的实时摄取、优化与关联，将其与实时的边缘网络防火墙日志进行比对，从而自动检测恶意外围回调。
### 🛠️ 展示的技能与技术
## 架构与数据流
1. **指标同步：** 一个独立的 MISP 容器充当日围收集节点，负责管理与开源威胁情报提供商的 API 集成，以获取指标属性。
2. **模块化摄取：** Splunk Enterprise 通过利用自定义生成命令的结构化 REST handler 查询本地 MISP API endpoint。
3. **缓存层优化：** 为了绕过冗余的 API 调用并优化 SIEM 搜索性能，摄取的指标记录会被解析、规范化，并本地缓存到一个键值查找表（`alienvault_threat_intel.csv`）中。
4. **实时关联追踪：** 一个定时的仪表盘流水线会根据本地威胁数据库，评估从活跃网络流量日志中提取的内部目标 IP 地址，从而即时暴露异常连接。
## 文档导航
为了保持工程指南的整洁，实现工作流程和故障排除日志被拆分到了专门的模块中：
* **[第 2 部分：DEPLOYMENT.md](DEPLOYMENT.md)** - 技术实现步骤和原始 SPL 搜索语法。
* **[第 3 部分：TROUBLESHOOTING.md](TROUBLESHOOTING.md)** - 容器网络路由障碍和解析引擎合规性更新。
* 自动化威胁情报流水线：MISP 到 Splunk Core
# 阶段 1 和 2：技术部署指南
本文档概述了在 Splunk SIEM 环境中配置威胁情报摄取流水线并部署主动关联规则所需的端到端工程实现。
## 阶段 1：威胁源摄取与规范化
执行了初始的生成与清理流水线，以从容器化的 MISP 核心实例中拉取高保真的指标属性。该搜索会对原始指标字符串进行扁平化、清理和规范化处理，使其与标准网络基础设施日志 schema 完美对齐，然后再将记录缓存到内部的键值查找表中以优化搜索速度：
```
| mispgetioc misp_instance=Local_misp eventid=1
| rename misp_value as dest_ip
| outputlookup alienvault_threat_intel.csv
```
## 阶段 2：实时 SIEM 关联搜索（SOC 检测逻辑）
设计了一种高效的实时关联搜索，用于将传入的基础设施流量日志与优化后的指标缓存进行交叉比对。该查询针对网络层，通过查找表处理活跃的目标接触点，映射输出变量，并抑制良性的基准数据，从而隔离未经身份验证的接触点：
```
index=main
| lookup alienvault_threat_intel.csv dest_ip OUTPUT dest_ip AS match_found
| search match_found=*
| table _time, src_ip, dest_ip, action
```
## 技术项目成果
成功部署集成脚本和仪表盘布局后，该环境达成了以下可衡量的安全里程碑：
* **自动化摄取：** 建立了一个无需人工干预、持久的威胁数据源，可独立运行而无需手动管理开销。
* **性能调优：** 使用优化的本地 CSV 缓存布局，创建了一个可用于生产环境的 SOC 仪表盘面板，可追踪 600 多个活跃指标，从而防止 API 资源枯竭或搜索延迟。
* **边界验证：** 确认了干净的基础设施性能，在受监控的网络防火墙日志中检测到的活跃恶意外部回调匹配为零。
* 阶段 1 和 2：技术部署指南
本文档概述了在 Splunk SIEM 环境中配置威胁情报摄取流水线并部署主动关联规则所需的端到端工程实现。
## 阶段 1：威胁源摄取与规范化
执行了初始的生成与清理流水线，以从容器化的 MISP 核心实例中拉取高保真的指标属性。该搜索会对原始指标字符串进行扁平化、清理和规范化处理，使其与标准网络基础设施日志 schema 完美对齐，然后再将记录缓存到内部的键值查找表中以优化搜索速度：
```
| mispgetioc misp_instance=Local_misp eventid=1
| rename misp_value as dest_ip
| outputlookup alienvault_threat_intel.csv
```
## 阶段 2：实时 SIEM 关联搜索（SOC 检测逻辑）
设计了一种高效的实时关联搜索，用于将传入的基础设施流量日志与优化后的指标缓存进行交叉比对。该查询针对网络层，通过查找表处理活跃的目标接触点，映射输出变量，并抑制良性的基准数据，从而隔离未经身份验证的接触点：
```
index=main
| lookup alienvault_threat_intel.csv dest_ip OUTPUT dest_ip AS match_found
| search match_found=*
| table _time, src_ip, dest_ip, action
```
## 技术项目成果
成功部署集成脚本和仪表盘布局后，该环境达成了以下可衡量的安全里程碑：
* **自动化摄取：** 建立了一个无需人工干预、持久的威胁数据源，可独立运行而无需手动管理开销。
* **性能调优：** 使用优化的本地 CSV 缓存布局，创建了一个可用于生产环境的 SOC 仪表盘面板，可追踪 600 多个活跃指标，从而防止 API 资源枯竭或搜索延迟。
* **边界验证：** 确认了干净的基础设施性能，在受监控的网络防火墙日志中检测到的活跃恶意外部回调匹配为零。
*
标签：Docker, 威胁情报, 安全运营, 安全防御评估, 开发者工具, 扫描框架, 网络调试, 自动化, 请求拦截