Fahimuz/threat-intel-rag

# 网络安全威胁情报工具 一款基于 RAG 的 AI 工具，允许安全分析师使用自然语言查询真实的政府网络安全威胁报告——就像 Google 一样，但仅限于威胁情报文档。 由 **Fahim Uzzaman** 开发 | 明尼苏达州立大学曼凯托分校 | 计算机信息技术理学学士 ## 功能介绍 分析师无需再手动阅读数百页的威胁报告，只需输入类似以下的问题： 即可立即从真实的 CISA 和 FBI 报告中获取带有引用的回答。 ## 技术栈 | 层级 | 技术 | |---|---| | AI / LLM | Anthropic Claude (claude-haiku) | | RAG 框架 | LangChain | | 向量数据库 | ChromaDB | | Embeddings | SentenceTransformers (all-MiniLM-L6-v2) | | 前端 | Streamlit | | PDF 处理 | pypdf | ## 架构 PDF 报告 --> 文本提取 --> 分块 (500 tokens) --> Embeddings --> ChromaDB 用户问题 --> Embedding --> 相似度搜索 --> 前 3 个分块 --> Claude AI --> 回答 ## 功能特性 - 支持 3 份真实威胁情报报告的自然语言搜索 - 威胁类别标签（勒索软件、网络钓鱼、恶意软件、欺诈等） - 自动关联 MITRE ATT&CK 框架参考 - 多文档过滤 - 用于后续问题的聊天记录 - 每个回答都提供来源引用 ## 已加载的威胁报告 - CISA 勒索软件指南 (CISA / MS-ISAC) - IC3 2022 年互联网犯罪报告 (FBI) - IC3 2023 年互联网犯罪报告 (FBI) ## 运行方式 1. 克隆仓库 git clone https://github.com/Fahimuz/threat-intel-rag.git cd threat-intel-rag 2. 创建虚拟环境 python -m venv venv venv\Scripts\activate 3. 安装依赖 pip install -r requirements.txt 4. 添加你的 API 密钥 创建一个 .env 文件： ANTHROPIC_API_KEY=your_key_here 5. 构建向量数据库 python build_vectordb.py 6. 运行应用 streamlit run app.py ## 测试结果 准确率：70%（10 个测试问题中正确回答了 7 个） 添加更多威胁报告将显著提高准确率。 ## 未来改进 - 添加更多威胁报告（Mandiant M-Trends、Microsoft MSTIC） - 实时 CVE 数据库集成 - 面向企业使用的用户身份验证 - Docker 容器化 ## 联系方式 - GitHub: https://github.com/Fahimuz - LinkedIn: https://www.linkedin.com/in/fahimuzzam/ - 作品集: https://bold.pro/my/fnu-fahimuzzaman-260212134518

标签：ChromaDB, DLL 劫持, Kubernetes, LangChain, Streamlit, 大语言模型, 威胁情报, 开发者工具, 检索增强生成, 访问控制, 轻量级, 逆向工具