cyberookie-cookie/AI-LogAnalyzerAssistant-RAG
GitHub: cyberookie-cookie/AI-LogAnalyzerAssistant-RAG
基于RAG与大语言模型的AI安全日志分析助手，通过语义检索MITRE ATT&CK知识为安全分析师提供威胁映射与上下文解读。
Stars: 0 | Forks: 0
# 基于 RAG 的 AI 日志分析助手
## 概述
本项目是一个基于 AI 的网络安全助手，旨在利用结合了检索增强生成 (RAG) 的大语言模型 (LLM) 来分析、解读和解释安全日志。该系统将日志事件与 MITRE ATT&CK 框架进行关联，为安全分析师提供关于潜在威胁、攻击技术和建议缓解策略的上下文洞察。
通过将语义检索与 LLM 推理相结合，该应用程序将原始安全日志转化为人类可读的解释，从而改善事件分析并缩短调查时间。
## 功能特性
- 基于 AI 的安全日志分析
- 检索增强生成 (RAG) pipeline
- MITRE ATT&CK 框架映射
- 使用 FAISS 向量数据库进行语义搜索
- 人类可读的威胁解释
- 交互式 Web 界面
- 基于 FastAPI 的 RESTful API
- 具备上下文感知能力的网络安全助手
## 系统架构
该平台由以下组件构成：
- **用户界面**
- 接收用户提交的安全日志。
- **RAG Pipeline**
- 从向量数据库中检索相关的网络安全知识。
- **向量数据库 (FAISS)**
- 存储嵌入的 MITRE ATT&CK 知识以进行语义检索。
- **大语言模型 (LLM)**
- 解读检索到的上下文并生成详细的解释。
- **MITRE ATT&CK 知识库**
- 将日志映射到对手战术、技术和程序 (TTPs)。
## 技术栈
- Python
- FastAPI
- FAISS
- Sentence Transformers
- 检索增强生成 (RAG)
- 大语言模型
- HTML / CSS / JavaScript
- MITRE ATT&CK 框架
## 项目结构
```
backend/
│
├── main.py
├── rag_pipeline.py
├── rag_utils.py
├── agents.py
├── fusion_layer.py
├── embeddings/
├── mitre_data/
├── vector_store/
├── static/
├── templates/
├── requirements.txt
└── .env
```
## 工作流程
1. 用户通过 Web 界面提交安全日志。
2. 日志被嵌入为语义向量表示。
3. RAG pipeline 使用 FAISS 检索最相关的 MITRE ATT&CK 知识。
4. 检索到的上下文被传递给 LLM。
5. AI 分析日志并识别：
- 攻击技术
- 对手战术
- 潜在的威胁行为
6. 助手生成包含网络安全上下文洞察的人类可读解释。
## 安装说明
克隆代码库：
```
git clone https://github.com/cyberookie-cookie/AI-LogAnalyzerAssistant-RAG.git
cd AI-LogAnalyzerAssistant-RAG
```
创建虚拟环境：
```
python -m venv venv
```
激活环境：
Windows
```
venv\Scripts\activate
```
安装依赖项：
```
pip install -r requirements.txt
```
在 `.env` 文件中配置您的 API 凭证。
运行应用程序：
```
python -m uvicorn main:app --reload
```
API 将在以下地址可用：
```
http://127.0.0.1:8000
```
Swagger 文档：
```
http://127.0.0.1:8000/docs
```
## 应用程序工作流
### 日志提交
用户通过 Web 界面或 API 提交安全日志。
### 语义检索
日志被转换为 embeddings，并与包含 MITRE ATT&CK 知识的 FAISS 向量数据库进行比较。
### AI 分析
LLM 将检索到的上下文与提交的日志相结合，以识别可疑行为并解释其重要性。
### 威胁映射
助手将检测到的事件映射到相关的 MITRE ATT&CK 战略和技术。
### 安全洞察
系统生成：
- 日志的通俗语言解释
- 相关的 MITRE ATT&CK 技术
- 威胁上下文
- 建议的调查指导
## 核心功能
- AI 辅助的安全日志解读
- 上下文感知的威胁分析
- MITRE ATT&CK 映射
- 使用 FAISS 进行语义检索
- 检索增强生成 (RAG)
- 人类可读的事件解释
- 交互式 Web 应用程序
- 用于集成的 REST API
## 未来改进
- 多源日志采集 (Sysmon, Windows Event Logs, Linux Syslog, Wazuh)
- 支持 Sigma 规则检测
- 威胁情报集成
- 交互式攻击链可视化
- 用于安全推理的可解释 AI (XAI)
- 多 Agent 网络安全分析
- 在 Microsoft Azure 上进行云部署
- Docker 和 Kubernetes 部署
- 用户身份验证和基于角色的访问控制 (RBAC)
## 免责声明
本项目仅供教育和研究目的。它旨在通过提供 AI 生成的洞察来协助安全分析师，并应作为专业网络安全分析的补充，而不是完全替代。
## 作者
**cyberookie-cookie**
标签：AV绕过, C2, Cloudflare, FAISS, FastAPI, LLM, MITRE ATT&CK, Retrieval-Augmented Generation (RAG), Unmanaged PE, 后端开发, 安全运营, 扫描框架, 逆向工具