dhivagd/AI-Based-Zero-Day-Threat-Detection
GitHub: dhivagd/AI-Based-Zero-Day-Threat-Detection
基于机器学习的实时零日威胁检测框架，融合网络流量分析、主机监控与文件完整性审计以识别未知攻击行为。
Stars: 0 | Forks: 0
# 基于 AI 的零日威胁检测系统
[](https://www.python.org/)
[](LICENSE)
[](#)
一个高性能、模块化的系统监控与网络分析框架，旨在实时检测零日威胁、可疑行为和异常主机活动。通过结合文件系统完整性监控、进程级行为追踪以及丰富的网络特征提取，该系统为高级机器学习检测 pipeline 奠定了基础。
## 🚀 核心功能
* **⚡ 实时数据包捕获与重放**：使用 `Scapy` 进行实时网络接口嗅探，并使用 `PyShark` 进行高保真的离线 PCAP 文件重放。
* **📊 动态特征提取**：提取 50 多种网络特征，包括双向流指标、TCP 标志、滚动窗口大小/速率统计、payload 特征以及连接速率。
* **📂 文件完整性监控**：使用 `Watchdog` 进行事件驱动的文件系统审计，以追踪敏感目录中文件的创建、修改、删除和移动。
* **🖥️ 主机与进程审计**：使用 `psutil` 持续追踪进程生命周期、socket 状态以及对关键系统文件（例如 `/etc/passwd`、Windows 注册表模板）的未授权访问尝试。
* **🛠️ 基于 Yaml 的配置**：为检测阈值、机器学习模型、数据库支持以及自动隔离路径提供集中式、可自定义的配置。
* **🔒 自动化事件响应（已就绪）**：可配置的响应措施，包括主机隔离、连接阻断和系统告警。
## 🗺️ 系统架构
```
graph TD
subgraph Data Ingestion [Ingestion Layer]
PC[Packet Capture - Scapy/PyShark]
FM[File Monitor - Watchdog]
SM[System Monitor - psutil]
end
subgraph Feature Engineering [Processing Layer]
NFE[Network Feature Extractor]
HFE[Host Feature Extractor]
end
subgraph Analytics Engine [Detection & DB Layer]
IF[Isolation Forest]
AE[Autoencoder]
TDB[(TimescaleDB)]
ES[(Elasticsearch)]
RD[(Redis Cache)]
end
subgraph Action & View [Output Layer]
API[FastAPI Gateway]
DASH[React Dashboard]
ACT[Response Engine - Quarantine/Block]
end
PC --> NFE
FM --> HFE
SM --> HFE
NFE --> IF & AE
HFE --> IF & AE
IF & AE --> TDB & ES & RD
TDB & ES & RD --> API
API --> DASH
IF & AE --> ACT
```
## 📁 仓库结构
```
├── api/ # REST API endpoints (FastAPI) for dashboard integration
├── configs/ # System & engine configurations
│ └── config.yaml # Main configuration file
├── core/ # Core processing engine
│ ├── detection/ # ML model definitions (Isolation Forest, Autoencoder, etc.)
│ ├── features/ # Feature extraction & normalization pipelines
│ │ └── network_features.py
│ ├── ingestion/ # Active sensor monitors (File, Network, Host)
│ │ ├── file_monitor.py
│ │ ├── packet_capture.py
│ │ └── system_monitor.py
│ ├── models/ # Trained models and pipeline artifacts
│ └── response/ # Incident response actions & alerting
├── dashboard/ # Front-end user interface
├── docker/ # Deployment configurations (Docker Compose, Dockerfiles)
├── intel/ # Threat intelligence connectors (VT, MITRE ATT&CK, NVD)
├── scripts/ # Management, setup, and helper scripts
├── tests/ # Automated unit, integration, and load tests
├── .env.example # Environment variables template
└── requirements.txt # Project python dependencies
```
## 🛠️ 快速开始
### 前置条件
* **Python**：`3.8` 或更高版本。
* **Tshark/Wireshark**：使用 `PyShark` 解析 PCAP 所必需。
* **Ubuntu/Debian**：`sudo apt install tshark`
* **macOS**：`brew install wireshark`
* **Windows**：从 [Wireshark 官网](https://www.wireshark.org/)下载安装程序。
### 安装说明
1. **克隆仓库**：
git clone https://github.com/yourusername/AI-Based-Zero-Day-Threat-Detection.git
cd AI-Based-Zero-Day-Threat-Detection
2. **创建虚拟环境**：
python -m venv venv
# 在 Windows 上：
venv\Scripts\activate
# 在 Linux/macOS 上：
source venv/bin/activate
3. **安装依赖项**：
pip install -r requirements.txt
4. **配置环境**：
复制环境变量模板并配置您的 API 密钥（例如 VirusTotal、NVD）：
cp .env.example .env
5. **编辑系统设置**：
修改 [configs/config.yaml](file:///h:/D%20Drive/projects/AI-Based%20Zero-Day%20Threat%20Detection/configs/config.yaml) 以调整模型灵敏度、目标目录、网络过滤器和数据库连接。
## 🚀 运行系统
您可以直接运行各个独立的监控器来验证传感器健康状态：
### 文件系统监控
实时监控下载、桌面和系统目录：
```
python core/ingestion/file_monitor.py
```
### 系统与进程监控
追踪进程生命周期、网络 socket 状态变化，以及对敏感系统路径的可疑访问：
```
python core/ingestion/system_monitor.py
```
### 实时数据包嗅探
从本地网络接口（例如 "Wi-Fi" 或 "eth0"）嗅探流量：
```
python core/ingestion/packet_capture.py
```
## 🧪 测试
代码库包含标准的单元测试以确保稳定性。通过 `pytest` 运行测试套件：
```
pytest tests/
```
对于性能和负载测试，实用脚本已配置为使用 `locust`：
```
locust -f tests/load_test.py
```
## 🔮 未来路线图
* [ ] **模型训练 Pipeline**：为 Isolation Forest 添加 Scikit-Learn 训练封装，并为 autoencoders 添加 PyTorch 训练循环。
* [ ] **MITRE ATT&CK 映射**：自动将进程告警与实际的 MITRE 攻击向量及其子技术进行分组映射。
* [ ] **自动隔离执行**：将识别为恶意的文件沙箱化，隔离至 `/quarantine` 文件夹中。
* [ ] **Elasticsearch 与 TimescaleDB 集成**：支持对网络特征和安全事件进行直接数据持久化。
## 📄 许可证
本项目基于 MIT 许可证授权 - 详情请参阅 [LICENSE](LICENSE) 文件。
标签：AI安全, AMSI绕过, Chat Copilot, DNS 反向解析, x64dbg, 主机监控, 入侵检测系统, 威胁检测, 子域名变形, 安全数据湖, 插件系统, 搜索引擎查询, 网络流量分析, 自动化响应, 请求拦截, 逆向工具