limbakhani/Threat-Intelligence-Intergrator

# 威胁情报整合器 这是一个适合用作作品集展示的 Python 应用程序，它从 AlienVault OTX 和 AbuseIPDB 收集危害指标 (IOC)，使用 VirusTotal 对提供的 IOC 进行丰富，对数据进行规范化，并将其存储在 SQLite 中，同时具备重复检测功能。 ## 功能 - 多源威胁情报接入 - AlienVault OTX 订阅 pulse 收集 - AbuseIPDB 高可信度黑名单收集 - VirusTotal API v3 IOC 丰富 - IPv4、IPv6、domain、URL、MD5、SHA-1 和 SHA-256 规范化 - 带有唯一指纹和 upsert 操作的 SQLite IOC 存储库 - 日志记录、基于环境变量的配置、来源隔离和错误处理 - 适用于定时收集以及未来 dashboard 或 AI 集成的 CLI - 针对规范化和重复检测的单元测试 ## 架构 ``` Threat APIs -> Connectors -> Normalization -> Pipeline -> SQLite | +-> logs/threat_integrator.log ``` ## 重要的 API 设计说明 本项目使用了 AlienVault OTX 和 AbuseIPDB 提供的 feed 风格 endpoint。VirusTotal 公共 API 用于对通过 `--vt-ioc` 提供的 IOC 值进行丰富，而不是作为无限制的批量 feed。请务必遵守各提供商的 API 条款和速率限制。 ## 设置 ``` git clone https://github.com/YOUR_USERNAME/threat-intelligence-integrator.git cd threat-intelligence-integrator python -m venv .venv ``` 激活虚拟环境： **Windows PowerShell** ``` .venv\Scripts\Activate.ps1 ``` **Linux/macOS** ``` source .venv/bin/activate ``` 安装项目： ``` python -m pip install --upgrade pip pip install -e . pip install pytest ``` 创建您的私有环境文件： ``` cp .env.example .env ``` 在 Windows PowerShell 上： ``` Copy-Item .env.example .env ``` 编辑 `.env` 并添加您的 API 密钥。切勿提交 `.env`。 ## 用法 收集 OTX 和 AbuseIPDB feed，并丰富两个 VirusTotal IOC： ``` threat-integrator collect --vt-ioc 8.8.8.8 --vt-ioc example.com ``` 等效的模块命令： ``` python -m threat_integrator.cli collect --vt-ioc 8.8.8.8 ``` 显示最近的已存储指标： ``` threat-integrator show --limit 25 ``` 运行测试： ``` pytest -q ``` ## SQLite schema `iocs` 表存储规范化的值、IOC 类型、来源、置信度、判定结果、时间戳、标签、原始提供商数据以及 SHA-256 指纹。每个规范化的 `type:value` 对的指纹都是唯一的，可防止出现重复行，同时允许进行丰富更新。 ## 建议的未来增强功能 - FastAPI REST API 和 React/Streamlit dashboard - 使用 cron、systemd timers 或 GitHub Actions 进行定时收集 - STIX 2.1 导出和 TAXII 集成 - MISP 集成 - IOC 过期和置信度衰减 - AI 辅助的 IOC 摘要和活动聚类 - 基于角色的身份验证和审计日志 ## 道德使用 仅在授权的防御性安全、威胁研究和事件响应活动中使用本项目。请妥善保护 API 密钥，并遵守提供商的条款和速率限制。

标签：Python, SQLite, 代码示例, 威胁情报, 安全规则引擎, 开发者工具, 数据分析, 无后门, 逆向工具