2002hackerr/ThreatIntel-Pipeline

# ThreatIntel Pipeline 🌐 **自动化威胁情报聚合与去重框架**

## 问题所在 安全运营中心（SOC）分析师经常浪费关键的响应时间，通过手动抓取开源威胁情报源（OSINT）来识别恶意 IP 地址。如果没有自动化的去重机制，将这些零散的列表添加到企业防火墙中会导致性能下降和高误报率。 ## 解决方案：ThreatIntel Pipeline 这个基于 Python 的框架采用异步方式从顶级开源威胁情报源（如 Spamhaus、Emerging Threats 和 Feodo Tracker）聚合数据。它利用稳健的正则表达式启发式方法来解析原始文本，对 IP 地址进行去重，移除良性的白名单 IP（例如 Localhost、Google DNS），并编译生成一个单一、轻量级的 `compiled_blocklist.txt`，可直接供防火墙立即导入。 ### 核心功能 - **并发轮询**：使用 `ThreadPoolExecutor` 异步获取多个远程威胁情报源。 - **正则表达式提取**：通用文本解析可从任何格式化或非格式化的文本响应中提取 IPv4 地址。 - **自动白名单**：硬编码的安全列表可防止意外拦截关键基础设施。 ## 快速开始 ``` python aggregator.py ``` *该脚本将在当前目录下生成一个名为 `compiled_blocklist.txt` 的文件，其中包含严格有效且已去重的恶意 IP 地址。* ## 测试协议 我们执行严格的 SDLC。在部署到生产环境之前，请运行内置的单元测试，以验证 IP 提取逻辑和验证约束： ``` python test_aggregator.py ```

标签：IP去重, IP 地址批量处理, Python, 威胁情报, 实时处理, 开发者工具, 数据聚合, 无后门, 网络调试, 自动化, 黑名单生成