elchacal801/threat-intel-reference
GitHub: elchacal801/threat-intel-reference
每日自动更新的开源威胁情报参考数据库，将多个公开情报源的恶意软件及 IOC 数据聚合归一化为标准格式供安全团队使用。
Stars: 0 | Forks: 0
# 威胁情报参考
一个每日更新的开源参考数据库，包含已知的恶意软件、PUP、PUA、广告软件和风险软件——数据汇总自多个免费的威胁情报来源。
## 数据包含什么？
| 文件 | 描述 |
|---|---|
| `data/normalized/malware_samples.csv` | 所有包含哈希值、家族名称和分类的恶意软件样本 |
| `data/normalized/pup_pua_samples.csv` | PUP/PUA/广告软件/风险软件样本 |
| `data/normalized/malware_families.csv` | 包含别名和描述的规范家族列表 |
| `data/normalized/iocs.csv` | 包含置信度评分的 IOC（IP、域名、URL、哈希） |
| `data/normalized/techniques.csv` | MITRE ATT&CK 技术到家族的映射 |
| `data/normalized/behavioral_indicators.csv` | 来自沙盒和 URLhaus 的哈希到域名/IP 的关联 |
| `data/raw/` | 归一化之前的各来源原始 CSV 文件 |
所有文件均提供 CSV 和 JSON 两种格式。
## 数据来源
- **[MalwareBazaar](https://bazaar.abuse.ch)** — 恶意软件样本哈希、家族签名、ClamAV 检测结果
- **[ThreatFox](https://threatfox.abuse.ch)** — 包含置信度评分和家族归属的 IOC
- **[YARAify](https://yaraify.abuse.ch)** — YARA 规则到恶意软件家族的映射
- **[MITRE ATT&CK](https://attack.mitre.org)** — 技术到恶意软件的关系
- **[MISP Galaxy](https://github.com/MISP/misp-galaxy)** — 包含别名的恶意软件家族分类法
- **[URLhaus](https://urlhaus.abuse.ch)** — 关联到恶意 URL/域名的 Payload 哈希
- **[AlienVault OTX](https://otx.alienvault.com)** — 包含家族关联的社区 Pulse IOC
- **[Hybrid Analysis](https://www.hybrid-analysis.com)** — 沙盒行为数据（联系的域名/IP）
- **[VirusTotal](https://www.virustotal.com)** — 多引擎 AV 判定结果及 PUP/PUA 分类
家族名称归一化由 [malware_name_mapping](https://github.com/certtools/malware_name_mapping) 提供支持。
## 工作原理
两个 GitHub Actions 流水线会自动运行：
**每日流水线**（UTC 时间早上 6 点）：收集器从所有来源将批量数据拉取到 `data/raw/` 中，归一化器将其合并并分类到 `data/normalized/` 中。
**数据扩充流水线**（每 6 小时）：Hybrid Analysis 和 VirusTotal 会使用行为数据和多引擎 AV 判定结果扩充现有样本（受速率限制，分批处理）。
## 快速开始
### 使用数据
直接下载任意 CSV：
```
curl -O https://raw.githubusercontent.com/elchacal801/threat-intel-reference/main/data/normalized/malware_samples.csv
```
### 本地运行
```
git clone https://github.com/elchacal801/threat-intel-reference.git
cd threat-intel-reference
pip install -r requirements.txt
export MALWAREBAZAAR_API_KEY="your_key"
export THREATFOX_API_KEY="your_key"
export YARAIFY_API_KEY="your_key"
python run_pipeline.py
```
### Fork 并使用你自己的密钥
1. Fork 此 repo
2. 在 [auth.abuse.ch](https://auth.abuse.ch) 获取免费的 API 密钥
3. 将其添加为 GitHub Secrets：`MALWAREBAZAAR_API_KEY`、`THREATFOX_API_KEY`、`YARAIFY_API_KEY`、`URLHAUS_API_KEY`、`OTX_API_KEY`、`HYBRID_ANALYSIS_API_KEY`、`VT_API_KEY`
4. 启用 Actions — 每日 cron 任务将开始更新你的 fork
## 分类
样本使用以下信号进行分类（匹配到第一个即生效）：
| 信号 | 分类 |
|---|---|
| ClamAV 签名以 `PUA.` 开头 | pua |
| ClamAV 签名以 `Adware.` 开头 | adware |
| 标签包含 `adware` | adware |
| 标签包含 `pup` / `pua` | pup / pua |
| 标签包含 `riskware` | riskware |
| 标签包含 `bundler` | pua |
| MISP Galaxy 家族类型 | 按标注分类 |
| VirusTotal popular_threat_classification | 按标注分类 |
| 默认 | malware |
## 贡献
有关添加新数据源的说明，请参阅 [关于页面](https://elchacal801.github.io/threat-intel-reference/about.html)。
## 许可证
数据来源于公开的威胁情报源。每个来源都有其各自的使用条款。详情请参阅相关来源的网站。
标签：Homebrew安装, IOC, 威胁情报, 开发者工具, 恶意软件, 攻防数据集, 自动化情报收集, 逆向工具