MariaIsCoding/Week-7-RAG-chatbot-Flowise-

# 第 7 周：RAG 安全知识助手 — 评估报告 ## 1. 设置摘要 - **LLM:** 通过 Groq 使用 `llama-3.3-70b-versatile` -**Embeddings:** 通过 HuggingFace Inference 使用 `sentence-transformers/distilbert-base-nli-mean-tokens` - **Vector Store:** 内存向量存储 (In-Memory Vector Store) - **已加载文档：** - `mitre-initial-access.txt`（~技术描述 + 实施流程示例） - `mitre-credential-access.txt`（~技术描述 + 实施流程示例） - `mitre-lateral-movement.txt`（~技术描述 + 实施流程示例） 这些文档是使用 MITRE ATT&CK Enterprise 战术页面创建的，主要通过选择相关技术，并将描述和实施流程示例内容复制到文本文件中。 ## 2. 测试结果 | # | 问题 | 是否使用文档？ | 质量 | 备注 | |---|----------|----------------|---------|-------| | 1 | 根据 MITRE，凭据访问的常见技术有哪些？ | 是 | 部分符合 | 聊天机器人引用了上传的凭据访问内容，但答案有些狭窄，仅集中在少数几个示例上，而没有从文档中提供对常见凭据访问技术的更广泛概述。 | | 2 | 在 ATT&CK 框架中，网络钓鱼与初始访问有何关联？ | 是 | 良好 | 聊天机器人直接引用了上传的 MITRE 初始访问内容，准确解释了网络钓鱼作为一种常见的初始访问技术，包括文档中的鱼叉式网络钓鱼和社会工程学概念。 | | 3 | 什么是横向移动，攻击者会使用哪些技术？ | 是 | 部分符合 | 聊天机器人正确定义了横向移动并引用了上传文档中的相关概念，但回答缺乏深度，未能全面涵盖源材料中存在的多种攻击者技术。 | | 4 | 对手如何滥用有效账户进行初始访问？ | 是 | 部分符合 | 聊天机器人给出了关于滥用有效账户的总体相关回答，但部分回答偏离到了超出上传文档确切范围的更广泛的攻击者行为，使得答案仅部分有据可查。 | | 5 | 暴力破解与来自密码存储的凭据之间有什么区别？ | 是 | 良好 | 聊天机器人利用直接来自上传凭据访问文档中的概念，准确区分了暴力破解攻击和从密码存储中窃取凭据，使得回答既切题又准确。 | ## 3. 边缘情况观察 ### 无关问题 当被问及超出已上传网络安全知识库范围的无关问题时，聊天机器人以不确定的方式回应（基本上表明它不知道如何回答）。这表明检索系统适当地受到了上传文档的限制，而不是自信地生成未经证实的信息。这也证明当查询与提供的源材料保持一致时，RAG pipeline 表现最佳。 ### 文档中未包含的主题 当被问及网络钓鱼防御策略时，聊天机器人正确地识别出上传的文档主要关注攻击技术而不是防御性缓解措施。然而，它仍然试图提供一般的网络安全建议，表现出轻微的幻觉行为，而不是严格将自己限制在基于文档的知识上。 -- ## 5. 反思 ### RAG 的工作方式有什么让你感到惊讶的？ 一个令人惊讶的方面是聊天机器人的质量在多大程度上依赖于上传文档的范围。当答案清晰地存在于文档中时，回答非常准确且有据可查。然而，当信息仅部分可用时，聊天机器人有时会使用通用模型知识来填补缺失的细节，而不是严格依赖检索。 ### 如何针对实际使用改进此聊天机器人？ 对于实际部署，我会通过以下方式改进聊天机器人： - 使用持久化向量数据库代替内存存储 - 扩充知识库，包含更全面的 MITRE ATT&CK 文档 - 添加防御性缓解文档（例如 MITRE mitigations 或 NIST controls） - 改进 prompt engineering，以减少信息缺失时的幻觉 - 实施 access controls 和日志记录以进行安全监控 ### 如何在毕业设计项目中使用 RAG？ RAG 在我的毕业设计项目中可能非常有用，可用于构建一个 AI 驱动的网络安全助手，该助手能够从结构化文档中检索受信任的安全知识。例如，它可以通过查询 ATT&CK 技术、映射对手行为，或者协助分析师根据上传的安全情报来源识别可能的攻击模式来支持威胁分析。

标签：DLL 劫持, IaC 扫描, RAG, 人工智能, 大模型评估, 大语言模型, 安全知识库, 检索增强生成, 用户模式Hook绕过