tk-alajmi/threat-intelligence-feed-aggregator

# 威胁情报源聚合器    一款基于 Python 的威胁情报聚合工具，用于从多个开源情报源收集、标准化和分析威胁指标。专为 SOC 分析师、威胁猎手和网络安全专业人士构建。 ## 概述 该工具可自动从各种来源收集和分析威胁情报数据，包括恶意 IP 地址、域名、URL 和恶意软件哈希值。它生成的可操作情报报告可帮助安全团队更新检测系统、阻止恶意基础设施并支持事件响应活动。 ## 问题陈述 安全运营中心 需要持续监控并摄取来自多个来源的威胁情报，以保持领先于新出现的威胁。手动收集和关联这些数据既耗时又容易出错。该工具通过以下方式解决了这个问题： - 自动化多个来源的源收集 - 将指标标准化为统一格式 - 分析模式并对威胁进行分类 - 生成可操作的建议 ## 功能特性 - **多源收集**：聚合来自 AbuseIPDB、AlienVault OTX、MalwareBazaar 和 OpenPhish 的数据 - **指标提取**：解析 IP、域名、URL 和文件哈希 (MD5/SHA256) - **数据标准化**：标准化来自不同源格式的指标 - **威胁分析**：对威胁进行分类并识别模式 - **CLI 报告**：在终端中生成格式化的情报报告 - **演示模式**：包含示例数据，无需 API 密钥即可测试 - **模块化设计**：易于扩展新的情报源 ## 技术架构 ``` ┌─────────────────┐ ┌──────────────────┐ ┌────────────────┐ │ Threat Feeds │─────│ Feed Collector │─────│ Indicator │ │ (APIs/Files) │ │ (feed_collector)│ │ Parser │ └─────────────────┘ └──────────────────┘ └────────┬───────┘ │ ▼ ┌─────────────────┐ ┌──────────────────┐ ┌────────────────┐ │ CLI Report │─────│ Threat Analyzer │─────│ Normalized │ │ (Terminal) │ │ (analyzer.py) │ │ Indicators │ └─────────────────┘ └──────────────────┘ └────────────────┘ ``` ## 项目结构 ``` threat-intelligence-feed-aggregator/ ├── app.py # Main CLI application ├── feed_collector.py # Collects threat feeds from sources ├── indicator_parser.py # Extracts and normalizes indicators ├── analyzer.py # Analyzes threats and generates reports ├── utils.py # Helper functions ├── requirements.txt # Python dependencies ├── README.md # This file ├── LICENSE # MIT License ├── .gitignore # Git ignore rules ├── docs/ # Documentation │ ├── threat_intelligence_workflow.md │ └── data_sources.md ├── examples/ # Sample data files │ ├── example_threat_feed.json │ └── example_report.txt ├── model/ # Threat classification logic │ └── threat_classifier.py └── screenshots/ # Tool screenshots ``` ## 使用技术 - **Python 3.8+** - 核心编程语言 - **Requests** - 用于 API 调用的 HTTP 库 - **Colorama** - 终端彩色输出 - **Regular Expressions** - 用于指标提取的模式匹配 ## 安装说明 1. 克隆仓库： ``` git clone https://github.com/yourusername/threat-intelligence-feed-aggregator.git cd threat-intelligence-feed-aggregator ``` 2. 创建虚拟环境（推荐）： ``` python -m venv venv source venv/bin/activate # Linux/Mac venv\Scripts\activate # Windows ``` 3. 安装依赖： ``` pip install -r requirements.txt ``` 4. （可选）为实时源设置 API 密钥： ``` export ABUSEIPDB_KEY="your_key_here" export OTX_KEY="your_key_here" export VT_KEY="your_key_here" ``` ## 使用方法 运行工具： ``` python app.py ``` 命令行选项： ``` python app.py --help # Show help python app.py --live # Use live API feeds python app.py --no-banner # Skip the banner python app.py --version # Show version ``` ## 示例输出 ``` ============================================================ THREAT INTELLIGENCE REPORT ============================================================ Generated: 2026-03-10 01:30:45 Sources: Demo Data [INDICATOR SUMMARY] Total Indicators: 15 - IP Addresses: 5 - Domains: 5 - URLs: 2 - MD5 Hashes: 2 - SHA256 Hashes: 1 [MALICIOUS IP ADDRESSES] • 185.220.101.34 • 45.155.205.233 • 103.144.240.29 • 194.26.192.64 • 91.240.118.172 [MALICIOUS DOMAINS] • secure-paypal-login.com • microsoft-verify.net • update-chrome-browser.com • free-bitcoin-generator.xyz • login-bankofamerica.com [MALWARE HASHES] • e99a18c428cb38d5... • 5d41402abc4b2a76... • 2cf24dba5fb0a30e... [PATTERNS DETECTED] • Most common TLDs: .com (4), .net (1), .xyz (1) • 3 malware samples identified [RECOMMENDATIONS] • Block malicious IPs in firewall/IDS rules • Check network logs for connections to these IPs • Add malicious domains to DNS sinkhole/blocklist • Review proxy logs for domain access • Block URLs in web proxy/content filter • Update endpoint detection with new malware hashes • Scan endpoints for matching file hashes ============================================================ ``` ## 截图 ### 工具启动 ### 威胁收集 ### 情报报告 ## 未来改进 - [ ] 添加对 STIX/TAXII 源的支持 - [ ] 实现指标富化 (WHOIS, GeoIP) - [ ] 添加导出选项 (CSV, JSON, STIX) - [ ] 创建 Web 仪表板界面 - [ ] 添加历史追踪和趋势分析 - [ ] 实现跨时间段的指标去重 - [ ] 为指标添加置信度评分 - [ ] 支持自定义情报源 ## 使用场景 - **SOC 监控**：每日威胁源摄取，用于更新检测规则 - **事件响应**：在调查期间快速查找 IOC - **威胁猎杀**：主动搜索恶意基础设施 - **安全研究**：分析威胁行为者基础设施 ## 贡献指南 欢迎贡献！请随时提交 Pull Request。 ## 许可证 本项目采用 MIT 许可证授权 - 详见 [LICENSE](LICENSE) 文件。 ## 免责声明 本工具仅供教育和授权安全测试目的使用。在生产环境中使用威胁情报数据之前，请务必确保您已获得适当的授权。

标签：AbuseIPDB, DAST, ESC4, HTTP/HTTPS抓包, IP 地址批量处理, MalwareBazaar, MD5/SHA256, OpenPhish, OSINT, Python, 威胁情报, 威胁猎杀, 字符串匹配, 安全运营, 实时处理, 开发者工具, 态势感知, 恶意IP检测, 恶意软件分析, 情报聚合, 扫描框架, 指标提取, 攻击指纹, 文档结构分析, 无后门, 网络安全, 自动化收集, 钓鱼检测, 隐私保护