Arun-uvce09/Cyber-Threat-Intelligence-RAG-Platform
GitHub: Arun-uvce09/Cyber-Threat-Intelligence-RAG-Platform
一个基于 RAG 的网络安全威胁情报平台,从多源情报数据中提供语义检索和上下文问答,并具备数据摄入流水线与生产级监控。
Stars: 0 | Forks: 0
# CyberThreatIntelligence-CTI-
一个由 AI 驱动的网络安全情报平台,它使用检索增强生成 (RAG) 从精选情报源中回答与威胁相关的查询。
该项目在我在 Bharat Electronics Limited (BEL) 实习期间开发,其中关键的摄入和监控功能已被集成到实际项目环境中。
## 概述
本项目结合了:
- 来自已索引威胁情报数据的语义检索
- 由 LLM 辅助的响应生成
- 基于来源的输出,以提高可信度和可追溯性
- 用于生产环境可靠性的监控和新鲜度检查
## 核心亮点
- 使用 RAG 的端到端 CTI 工作流
- 多源摄入与分块 pipeline
- 带有模块化 API 路由的 FastAPI 后端
- 用于搜索和基于聊天探索的 React 前端
- 集成 Prometheus 和 Grafana 以实现可观测性
- 用于监控摄入新鲜度和质量的 MLOps 工具
## 核心功能
- 威胁情报搜索和上下文问答
- 专注于 MITRE 的检索接口
- 用于新文档的上传和摄入 endpoint
- 用于仪表板和告警的监控指标
- 用于保持操作一致性的数据新鲜度跟踪
## 技术栈
- Python, FastAPI
- React, Vite
- Qdrant(向量数据库)
- Prometheus, Grafana
- 用于 RAG 的自定义检索和生成模块
## 项目结构
- backend:API 服务和路由处理器
- frontend:Web 客户端和 UI 组件
- rag:retriever 和 generator 模块
- scripts:摄入和分块工具
- mlops:新鲜度检查和评分工具
- monitoring:Prometheus 和 Grafana 配置
- json_data 和 chunks:源情报数据和已处理的情报数据
## 设置与执行
详细的设置和运行命令可在 [SETUP.md](SETUP.md) 中找到。
可以使用 [Dockerfile](Dockerfile) 和 [docker-compose.yml](docker-compose.yml) 进行容器化设置。
## 仓库说明
本仓库是我维护的项目版本,在保留实习工作背景的同时,被组织为一个独立的实战作品集项目。
标签:AV绕过, DLL 劫持, FastAPI, RAG, React, Syscalls, 大语言模型, 威胁情报, 开发者工具, 网络安全, 自定义请求头, 请求拦截, 运维监控, 逆向工具, 隐私保护