BenwinbBenny/Threat-Intelligence-Aggregator-Non-AI-
GitHub: BenwinbBenny/Threat-Intelligence-Aggregator-Non-AI-
基于Python的轻量级威胁情报聚合器，从多源收集、标准化并关联IOC指标，生成可直接部署的拦截列表。
Stars: 0 | Forks: 0
# 🛡 威胁情报聚合器 (非 AI)
一个实用的基于 Python 的威胁情报 (TI) 聚合器，从多个异构源收集、解析、标准化、关联并优先处理入侵指标 (IOC)，**全程不使用 AI 或机器学习**。
本项目展示了安全运营中心 (SOC) 中使用的真实蓝队自动化技术。
## 📌 项目概述
现代网络安全运营严重依赖威胁情报源。然而，这些源：
- 来自多个来源
- 使用不同的格式 (TXT, CSV, JSON, STIX)
- 包含不一致的结构
- 经常包含重复的指标
本项目通过以下方式解决了这个问题：
✔ 聚合多个 IOC 源
✔ 提取并验证指标
✔ 标准化异构数据
✔ 关联重复的 IOC
✔ 分配严重性级别
✔ 生成可部署的拦截列表
✔ 生成最终情报报告
## 🎯 项目目标
1. 从本地文件或 URL 收集威胁情报
2. 提取 IOC (IP, 域名, URL, 哈希, 邮箱)
3. 将数据标准化为统一结构
4. 关联多个源中的指标
5. 将重复的 IOC 优先标记为高风险
6. 生成适用于防火墙/EDR 的拦截列表
7. 导出结构化情报报告
## 🧠 支持的 IOC 类型
| IOC 类型 | 示例 |
|---------------|------------------------------------------|
| IP 地址 | 185.220.101.1 |
| 域名 | malicious-domain.com |
| URL | http://bad-site.com/login |
| 文件哈希 | 5d41402abc4b2a76b9719d911017c592 |
| 邮箱 | attacker@evil.com |
## 🏗 项目架构
```
START
↓
Load IOC Feeds
↓
Parse Indicators (Regex Extraction)
↓
Normalize & Validate Data
↓
Correlation Engine (Cross-Feed Matching)
↓
Generate Blocklists
↓
Export Final TI Report
↓
END
```
## 📂 项目结构
```
|─Threat-Intelligence-Aggregator-Non-AI-/
│──ti_aggregator/
│ ├── feeds/
│ │ ├── feed1.txt
│ │ ├── feed2.txt
│ │ ├── feed3.txt
│ │
│ ├── output/
│ │ ├── blocklists/
│ │ │ ├── ip_blocklist.txt
│ │ │ ├── domain_blocklist.txt
│ │ │ ├── url_blocklist.txt
│ │ │ ├── hash_blocklist.txt
│ │ │
│ │ └── reports/
│ │ └── final_report.json
│ │
│ └── ti_aggregator.py
│──README.md
└──LICENSE
```
## ⚙️ 安装与设置
### 1️⃣ 克隆仓库
```
git clone https://github.com/BenwinbBenny/Threat-Intelligence-Aggregator-Non-AI-.git
cd Threat-Intelligence-Aggregator-Non-AI-
```
### 2️⃣ 安装依赖
```
pip install requests
```
**使用的标准库：**
- `re`
- `json`
- `csv`
- `ipaddress`
- `datetime`
## 🚀 如何运行
将 IOC 文件放入 `feeds/` 目录中。
然后运行：
```
python ti_aggregator.py
```
## 🔍 工作原理
### 1️⃣ 源加载器
从 `feeds/` 目录加载本地 IOC 文件。
### 2️⃣ IOC 解析器
使用正则表达式提取：
- IPv4 地址
- 域名
- URL
- 电子邮件地址
- MD5/SHA1/SHA256 哈希
IP 验证使用 `ipaddress` 模块执行。
### 3️⃣ 标准化引擎
所有指标都转换为统一的 JSON 结构：
```
{
"type": "ip",
"value": "185.220.101.1",
"source": "feed1.txt",
"timestamp": "2026-02-20T12:00:00"
}
```
### 4️⃣ 关联引擎
指标按以下方式分组：
```
(type, value)
```
### 严重性分配
根据跨源频率分配严重性：
| 出现次数 | 严重性 |
|------------|----------|
| 1 个源 | 低 |
| 2 个源 | 中 |
| 3+ 个源 | 高 |
这模拟了真实的 SOC 优先级逻辑。
### 5️⃣ 拦截列表生成器
中度和高度严重性的 IOC 被导出到：
- `ip_blocklist.txt`
- `domain_blocklist.txt`
- `url_blocklist.txt`
- `hash_blocklist.txt`
这些文件可以部署到：
- 防火墙
- IDS/IPS
- Web 过滤器
- EDR 解决方案
### 6️⃣ 报告生成器
创建：
```
output/reports/final_report.json
```
报告包括：
- 独特的 IOC 总数
- 严重性细分
- 完整的关联数据集
- 时间戳
## 📊 示例输出
### 高严重性示例
```
{
"type": "ip",
"value": "185.220.101.1",
"sources": ["feed1.txt", "feed2.txt", "feed3.txt"],
"occurrences": 3,
"severity": "High"
}
```
## 🛡 展示的蓝队技术
- IOC 解析和验证
- 威胁数据标准化
- 跨源关联
- 严重性评分
- 自动化拦截列表生成
- SOC 工作流自动化
## 🔐 实际安全用例
- ✔ 自动化防火墙拦截
- ✔ 识别恶意基础设施重用
- ✔ 优先处理重复的威胁指标
- ✔ 增强威胁狩猎行动
- ✔ 改善防御态势
## 📚 学习成果
本项目展示了对以下内容的理解：
- 威胁情报基础知识
- IOC 结构和验证
- 数据解析技术
- SOC 自动化工作流
- 防御性网络安全工程
## 🔧 使用的技术
- Python 3.x
- 正则表达式 (`re`)
- `ipaddress` 模块
- JSON / CSV 解析
- Requests 库
- `collections.defaultdict`
## 📈 未来改进
- STIX/TAXII 支持
- SQLite IOC 数据库
- 使用 `argparse` 的 CLI 参数
- 日志系统
- IOC 过期逻辑
- Web 仪表板 (Flask)
- 威胁评分模型
## 📜 许可证
本项目仅用于教育和防御性安全目的。
标签：DAST, EDR集成, Homebrew安装, IOC提取, Python安全工具, SOC自动化, STIX, TI聚合器, 入侵指标, 威胁情报, 威胁数据源, 字符串匹配, 安全运营, 开发者工具, 恶意软件分析, 情报关联分析, 扫描框架, 网络安全, 逆向工具, 防御列表生成, 防火墙规则, 隐私保护, 非AI安全