Alfi-Noushad/composite-threat-intelligence-engine
GitHub: Alfi-Noushad/composite-threat-intelligence-engine
基于FastAPI和DistilBERT的异步威胁情报微服务，通过启发式规则与NLP深度学习的复合管道对实时服务器日志进行自动化威胁检测和风险评分。
Stars: 0 | Forks: 0
# 🛡️ Composite-Threat-Intelligence-Engine
这是一个高性能、异步的机器学习微服务，旨在检测实时服务器日志中的网络威胁、异常网络流量峰值以及恶意系统意图。本仓库展示了一个企业级的 Composite AI Pipeline，它将快速启发式规则与深度学习 Transformer 模型相结合，以提供实时的自动化风险缓解评分。
## 🚀 功能
- ⚡ 异步设计：基于 FastAPI ASGI 架构构建，实现高并发。
- 🧠 全局模型缓存：冻结的 Transformer 参数在启动时保持缓存在 RAM 中。
- ✅ Pydantic 护栏：严格的结构参数可消除恶意 payload。
- 📊 多通道 Pipeline：将启发式规则与 NLP 深度推理进行交叉评估。
- 🛡️ 专注网络安全：将混乱的日志消息转换为干净的分析数据。
## 🏗️ 架构
```
┌────────────────────────────────────────────────────────────────────────┐
│ POWERSHELL / BROWSER │
│ Sends raw text JSON string: {"ip_address": "192.168...", ...} │
└───────────────────────────────────┬────────────────────────────────────┘
│ (Travels over port 8000)
▼
┌──────────────────────────────────┐
│ Pydantic Validation Gate │
│ (modelThreatChecker) │
└─────────────────┬────────────────┘
│ (Verifies all numbers match types)
▼
┌──────────────────────────────────┐
│ Composite Analytics Pipeline │
├──────────────────────────────────┤
│ │
▼ ▼
┌────────────────────┐ ┌────────────────────┐
│ Lane A: Rule │ │ Lane B: NLP Model │
│ Engine │ │ (Context & │
│ (Volumetric) │ │ Intent) │
└─────────┬──────────┘ └─────────┬──────────┘
│ │
└───────────┬──────────────┘
▼
┌──────────────────────────────────┐
│ Automated Risk Scoring │
└─────────────────┬────────────────┘
│ (Computes Final Verdict)
▼
┌────────────────────────────────────────────────────────────────────────┐
│ CLIENT RETURN │
│ FastAPI converts structured schema to JSON text string for firewall │
└────────────────────────────────────────────────────────────────────────┘
```
## 🛰️ 组合型 PIPELINE 蓝图
1. 类型安全的 SCHEMA 层：使用 Pydantic 验证模型拦截传入的客户端文本，在恶意注入异常或损坏的数据 payload 到达下游 runtime 计算线程之前将其阻止。
2. 通道 A - 容量启发式层：执行超快速的算术处理循环，以评估基础设施连接元数据（request_count、payload_size_kb），从而追踪 DDoS 或暴力破解的激增情况。
3. 通道 B - 深度学习语言层：将原始日志消息直接流式传输到 Hugging Face Transformer (DistilBERT) 的 tokenization 序列中，以分离出与管理员恐慌、未经授权的访问或恶意意图相对应的语言情感特征。
## 📁 仓库结构
```
├── threat_analyzer.py # Core Microservice application loop & endpoint route architecture
├── README.md # System architectural documentation and operational manual
```
## 🚀 安装与本地执行
一旦你的微服务终端报告应用启动完成，即可使用以下选项之一测试 endpoint 布局的运行边界：
``` : 交互式 API 浏览器界面 (Swagger UI) - 打开你的原生 Web 浏览器并导航至：http://127.0.0.1:8000/docs - 选择绿色的 POST /analyze-log 执行层。 - 选择“Try it out”，在 payload 编辑器中自定义数据向量，然后点击蓝色的“Execute”按钮。```
## 📊 评估与输出分析
核心服务器会评估组合信号，以分配最终的遏制策略：
- SAFE：标准化的服务器流量概况，带有极少的启发式标记。
- WARNING：指标边界升高，需要外围监控日志。
- CRITICAL_ISOLATION_REQUIRED：高频数据特征或与活动网络入侵模型相匹配的、已验证的上下文异常。
示例服务器输出 SCHEMA：
```
{
"status": "CRITICAL_ISOLATION_REQUIRED",
"metrics": {
"calculated_risk_score": 348.75,
"active_security_flags": [
"SUSPECTED_DDOS_ATTACK",
"HIGH_FREQUENCY_BRUTE_FORCE"
]
},
"linguistic_analysis": {
"dominant_tone": "NEGATIVE",
"model_confidence": 0.998
}
}
```
=================================================================
标签：Apex, AV绕过, FastAPI, Transformer, 威胁情报, 开发者工具, 异常检测, 机器学习, 逆向工具