Simondharcourt/osint-lightrag

# OSINT LightRAG 一个用于网络威胁情报的知识图谱 RAG 系统，基于 [LightRAG](https://github.com/HKUDS/LightRAG) 和 [RAGAnything](https://github.com/HKUDS/RAGAnything) 构建。 导入威胁报告、CVE、MITRE ATT&CK 数据或任何 OSINT 文档。通过带有混合检索（本地 + 全局图谱遍历）的聊天界面查询生成的知识图谱。 ## 架构 ``` frontend/ React + Vite + Tailwind — streaming chat UI backend/ app/ api/routes.py FastAPI endpoints: /ingest, /ingest/file, /query, /query/stream rag/ lightrag_engine.py LightRAG with cybersecurity entity schema raganything_engine.py Multimodal ingestion (PDF, images, tables) scripts/ ingest_file.py CLI ingestion helper parse_mitre.py MITRE ATT&CK parser explore_mitre.py Graph exploration visualize_graph.py Knowledge graph visualizer ``` ## 实体类型 知识图谱提取与 MITRE ATT&CK 对齐的实体： | 类型 | 描述 | 示例 | |------|-------------|---------| | `intrusion-set` | APT 组织 | APT28, Lazarus Group | | `malware` | 恶意软件 | WannaCry, Emotet | | `tool` | 双用途工具 | Mimikatz, Cobalt Strike | | `attack-pattern` | MITRE 技术 | T1059 - Command Scripting | | `campaign` | 命名行动 | Operation GhostSecret | | `vulnerability` | CVE 与漏洞利用 | CVE-2021-44228 | | `identity` | 目标组织 | NATO, US Treasury | | `sector` | 目标行业 | finance, energy | | `country` | 民族国家 | Russia, North Korea | ## 技术栈 - **LLM**: Ollama (`qwen2.5:7b`) — 本地运行 - **Embeddings**: Ollama (`bge-m3:latest`) 或 Mistral API - **图谱存储**: LightRAG (NetworkX + NanoVDB) - **多模态导入**: RAGAnything - **API**: 带 SSE 流的 FastAPI - **UI**: React 19 + Tailwind v4 ## 设置说明 ### 前置条件 - [Ollama](https://ollama.com)，并已拉取 `qwen2.5:7b` 和 `bge-m3:latest` - Python 3.13+, [uv](https://docs.astral.sh/uv/), Node.js 18+ ### 后端 ``` cd backend cp .env.example .env # 编辑 .env — 如果使用 Mistral embeddings，请设置 MISTRAL_API_KEY uv sync uv run uvicorn app.main:app --reload ``` ### 前端 ``` cd frontend npm install npm run dev ``` 打开 http://localhost:5173。 ## 数据导入 **通过 UI**：将文件拖放到界面上（PDF、txt、图像）。 **通过脚本**： ``` cd backend uv run python scripts/ingest_file.py path/to/report.pdf ``` **MITRE ATT&CK**： ``` uv run python scripts/parse_mitre.py # download + parse enterprise ATT&CK uv run python scripts/explore_mitre.py # explore extracted entities ``` ## 查询模式 | 模式 | 描述 | |------|-------------| | `hybrid` | 本地 + 全局图遍历（默认） | | `local` | 实体聚焦，邻域搜索 | | `global` | 主题性，社区级别搜索 | | `naive` | 纯向量相似度 | ## 许可证 MIT

标签：AI安全, AI风险缓解, AV绕过, BGE-m3, Chat Copilot, Cloudflare, CVE, DLL 劫持, DNS枚举, ESC4, FastAPI, GPT, GraphRAG, LightRAG, LLM评估, MITRE ATT&CK, Ollama, OSINT, Python, Qwen2.5, RAG, RAGAnything, React, SSE, Syscalls, Tailwind CSS, Vite, 可视化图谱, 后端开发, 多模态摄取, 大语言模型, 威胁分析, 实体抽取, 对话式UI, 情报收集, 数字签名, 无后门, 本地大模型, 检索增强生成, 流式输出, 混合检索, 漏洞研究, 漏洞管理, 特权检测, 网络威胁情报, 网络安全, 网络安全工具, 自动化侦查工具, 逆向工具, 隐私保护, 黑客组织