fukusuket/ThreatfeedCollector

# Threat feed 收集器 一款 Python 工具，用于从 RSS 威胁情报源中提取失陷指标，并在 MISP（恶意软件信息共享平台）中创建事件。 ## 功能特性 - 从 RSS 源获取威胁情报 - 从源内容中提取 IoC（URL、IP、FQDN、哈希值） - 过滤私有 IP 和常见域名 - 为检测到的威胁创建 MISP 事件 - 生成 CSV 统计报告 ## 环境要求 - Python 3.12+ - MISP 实例（用于创建事件） - MISP API 密钥 ## 安装说明 1. 克隆本仓库 2. 运行安装脚本： chmod +x setup.sh ./setup.sh 或者手动安装： ``` python3 -m venv venv source venv/bin/activate pip install -r requirements.txt ``` ## 配置 从示例文件创建本地 `.env` 文件并填写您的凭据/URL： ``` cp .env.example .env ``` 然后编辑 `.env` 进行设置： ``` OPENAI_API_KEY=your-openai-key MISP_URL=https://your-misp-instance.com MISP_KEY=your_misp_api_key DAYS_BACK=1 ``` 这些值会在运行时由应用程序读取；无需进行 shell 导出。 ## RSS 源配置 创建一个包含您的威胁情报源的 `config/rss_feeds.csv` 文件： ``` Vendor, RSS Feed URL, Blog URL Sample vendor,https://example.com/feed/,https://example.com/ ``` 以 `#` 开头的行将被视为注释。 ## 用法 ``` source venv/bin/activate python3 ioc_collect.py ``` 该工具将执行以下操作： 1. 从 CSV 文件读取 RSS 源 2. 提取近期文章（基于 `DAYS_BACK`） 3. 从文章内容中提取 IoC 4. 为包含 IoC 的文章创建 MISP 事件 5. 生成统计 CSV 报告 ## 相关项目 - [THuntLab](https://github.com/fukusuket/THuntLab) ## 输出 - **MISP 事件**：在您的 MISP 实例中自动创建 - **统计 CSV**：包含 IoC 数量和每个供应商创建的事件数 ## 检测的 IoC 类型 - **URL**：HTTP/HTTPS URL（排除常见域名） - **IP 地址**：公网 IPv4 地址 - **FQDN**：域名（排除常见域名） - **哈希值**：MD5、SHA-1 和 SHA-256 哈希 - **文件路径**：从文章内容中提取 - **命令行**：从文章内容中提取 - **浏览器扩展**：从文章内容中提取 ## 致谢 本工具的实现得益于这些杰出开源项目的维护者和贡献者。 - [MISP/PyMISP](https://github.com/MISP/PyMISP) - [MISP/PyMISPWarningLists](https://github.com/MISP/PyMISPWarningLists.git) - [kurtmckee/feedparser](https://github.com/kurtmckee/feedparser) - [InQuest/iocextract](https://github.com/InQuest/iocextract)

标签：DAST, ESC4, Feed收集器, IOC提取, IP地址提取, OSINT, Petitpotam, Python, RSS订阅, URL提取, 反编译, 哈希提取, 域名提取, 失陷指标, 威胁情报, 威胁猎杀, 威胁研究, 开发者工具, 恶意软件分析, 数据泄露, 无后门, 结构化查询, 自动化安全