Apart004/advanced-threat-intelligence-platform
GitHub: Apart004/advanced-threat-intelligence-platform
这是一个自动化威胁情报处理平台，用于从多个开源源收集、清理和规范化恶意IP地址，以支持安全防御和运营。
Stars: 0 | Forks: 0
# 高级威胁情报平台（TIP）
## 📌 概述
**高级威胁情报平台（TIP）** 是一个为自动化处理而设计的网络安全管道，旨在从多个不同的开源情报（OSINT）源摄取、处理和规范化失陷指标（IoC）。
该平台聚合原始恶意 IP 数据集，执行数据规范化模式，过滤重复威胁，计算算法处理统计信息，并维护不可变的持久执行日志，以便进行取证审计和 SIEM 集成准备。
## ⚡ 功能特性
* **多源摄取：** 自动化摄取向量，针对高信誉度的 OSINT 基础设施（`Feodo Tracker`、`Emerging Threats`）。
* **数据规范化与净化：** 将非结构化纯文本/CSV 威胁源结构化解析为统一、结构化的格式。
* **高性能去重：** 简化过滤，消除跨重叠威胁情报提供者的冗余数据点。
* **细粒度指标生成：** 实时提取管道处理统计信息（总摄取计数、丢弃的重复项、最终遥测差值）。
* **持久审计与日志记录：** 全面的执行跟踪，记录网络错误、摄取时间戳和管道健康状况。
## 🛠️ 技术栈与工具
* **核心引擎：** Python 3.x
* **网络传输：** Requests 库
* **版本控制与 CI/CD：** Git & GitHub Actions
* **摄取目标：** Emerging Threats IP Blocklist, Abuse.ch Feodo Tracker
* **目标环境：** 跨平台兼容性（Linux / Windows PowerShell）
## 🗺️ 系统架构
```
flowchart TD
A[Feodo Tracker API] -->|Raw Plaintext| D[Threat Ingestion Engine]
B[Emerging Threats Feed] -->|Raw Ruleset| D[Threat Ingestion Engine]
D -->|Aggregated Telemetry| E[Normalization & Parsing Engine]
E -->|Structured Data| F[Deduplication/De-confliction Module]
F -->|Telemetry Delta| G[Clean Threat Intelligence Dataset]
F -->|Pipeline Event Telemetry| H[Processing Statistics Engine]
H -->|JSON / Log Strings| I[Persistent Logging System]
I -->|Immutable Logs| J[threat_feed.log]
G -->|Clean IoC Array| K[malicious_ips.txt]
```
## 📂 文件拓扑
```
advanced-threat-intelligence-platform/
│
├── data/
│ └── malicious_ips.txt # Clean, deduplicated Threat Intelligence Dataset
│
├── logs/
│ └── threat_feed.log # Persistent execution logs for auditing & SIEM
│
├── scripts/
│ └── threat_feed.py # Core pipeline orchestration logic
│
├── docs/ # Architecture diagrams and design notes
└── README.md
```
## 🚀 部署与使用
### 1. 克隆仓库
```
git clone [https://github.com/Apart004/advanced-threat-intelligence-platform.git](https://github.com/Apart004/advanced-threat-intelligence-platform.git)
cd advanced-threat-intelligence-platform
```
### 2. 环境配置
确保已配置好依赖项：
```
python -m pip install requests
```
### 3. 执行情报管道
```
python scripts/threat_feed.py
```
## 📊 遥测与输出
### 控制台运行时输出
### 规范化 IoC 模式示例
```
{
"malicious_ip": "162.243.103.246",
"source": "OSINT Threat Feed",
"status": "malicious",
"identified_at": "2026-05-25T01:28:40Z"
}
```
### 持久审计跟踪日志示例
## 🛡️ 核心网络安全实践
* **OSINT 情报工程：** 具备处理活跃战术网络威胁数据指标的全生命周期实践经验。
* **数据聚合协议：** 将多样的外部通信线路解析为单一真实数据源存储库。
* **防御性安全日志框架：** 构建模拟企业 SIEM 摄取目标的标准化应用程序执行输出。
* **安全流程自动化：** 通过脚本化防御逻辑例程消除手动情报收集方法。
## 🔮 未来工程待办
* [ ] **数据库层集成：** 将本地平面文件缓存迁移至结构化的 MongoDB/PostgreSQL 集群。
* [ ] **算法威胁严重性评分：** 利用资产跟踪 API 计算上下文风险指标。
* [ ] **主动基础设施防御：** 开发自动化扩展脚本，将封禁列表直接导出到本地防火墙（iptables/pfSense API）。
* [ ] **增强服务：** 通过外部 API 引入被动 WHOIS 提取和地理定位情报查询。
**作者：** Ansh
*专注于安全自动化、威胁情报工程与防御性运营。*
```
```
标签：AMSI绕过, ESC4, Git, GitHub Actions, IoC, masscan, OSINT, Python, SIEM集成, 去重, 威胁情报平台, 威胁检测, 字符串匹配, 安全可观测性, 审计日志, 恶意IP, 技术栈, 指标生成, 数据摄取, 数据清洗, 数据规范化, 无后门, 版本控制, 网络威胁, 网络安全, 网络安全研究, 网络调试, 自动化, 自动笔记, 隐私保护