VUPPALAVARSHITH/knowledge-firewall-ai

# 🛡️ Knowledge Firewall AI Knowledge Firewall AI 是一个安全优先的框架，旨在企业知识进入大语言模型（LLM）之前对其进行保护。传统的 Secure RAG 系统仅关注检索过程，与此不同，Knowledge Firewall AI 引入了一个专用的 **Knowledge Firewall**，在企业知识的整个生命周期中对其进行持续的验证、指纹提取、监控和保护。 Knowledge Firewall AI 不是聊天机器人。 它是一个企业级安全框架，在组织知识的整个生命周期中对其进行持续的验证、指纹提取、监控和保护。 本代码库中包含的 Secure RAG Assistant 仅仅是该框架生成的可信知识的众多消费者之一。 ## 🎯 项目概述 现代企业越来越依赖检索增强生成（RAG）系统，利用内部知识库来驱动 AI 助手。然而，这些系统容易受到多种安全威胁： - 语料库投毒 - 二次投毒攻击 - Prompt 注入 - 知识篡改 - 敏感数据泄露 - 语义操纵 Knowledge Firewall AI 通过在企業知识库和下游 AI 应用之间引入一个安全层，来解决这些挑战。 ## 🏗️ 系统架构 ``` Enterprise Documents │ ▼ Document Parsing Engine │ ▼ Semantic Chunk Builder │ ▼ Fingerprint Generation Engine (SHA-256 • SimHash • Embedding Fingerprints) │ ▼ Knowledge Firewall AI ├── Corpus Poisoning Detection ├── Re-Poisoning Detection ├── Prompt Injection Detection ├── Sensitive Data Detection ├── Semantic Integrity Verification ├── Runtime Trust Verification └── Knowledge Fingerprinting │ ▼ Knowledge Admission Firewall Allow • Reject • Review │ ▼ Trusted Enterprise Knowledge Repository │ ┌─────────────┼─────────────┐ ▼ ▼ ▼ Integrity Scanner Analytics Version History │ ▼ Secure Retrieval Layer │ ▼ Runtime Knowledge Firewall │ ▼ Large Language Model │ ▼ Trusted Enterprise Response ``` # ✨ 核心特性 ## 企业知识安全 - 企业知识准入 - 仓库完整性验证 - 知识指纹提取 - 信任评分生成 - 可解释的安全决策 - 持续的仓库监控 ## 知识保护 - 语料库投毒检测 - 二次投毒检测 - Prompt 注入防御 - 敏感数据泄露检测 - 语义完整性验证 - 知识篡改检测 ## 安全检索 - 可信检索 Pipeline - 运行时 Chunk 验证 - 安全 Prompt 构建 - 上下文过滤 - 信任感知响应生成 ## 企业管理 - 安全仪表板 - 知识仓库 - 完整性扫描器 - 策略对比 - 版本历史 - 信任分析 - 企业助手 # 🔬 研究贡献 Knowledge Firewall AI 扩展了传统的 Secure RAG 架构，引入了一个可复用的企业安全框架，该框架能够实现： - 知识指纹提取 - 运行时信任验证 - 仓库监控 - 企业知识准入 - 语义完整性验证 - 可解释的信任决策 现有的 Secure RAG 系统仅保护检索过程，与此不同，Knowledge Firewall AI 在检索**之前**、**期间**和**之后**都能对企业知识进行保护。 # 🏢 企业框架 企业框架为管理员提供了一个集中式界面，用于管理受信任的企业知识。 当前模块包括： - 🏠 企业仪表板 - 📂 知识仓库 - ⬆️ 知识准入防火墙 - 🛡️ 仓库完整性扫描器 - 📊 信任分析 - 🔍 策略对比 - 🕒 版本历史 - 🤖 企业助手 每个模块都使用由 Knowledge Firewall 提供的可复用安全服务。 # 📂 项目结构 ``` knowledge-firewall-ai/ ├── data/ │ ├── enterprise/ │ ├── metadata/ │ ├── benchmark/ │ ├── evaluation/ │ └── vector_store/ │ ├── docs/ ├── models/ ├── notebooks/ ├── outputs/ ├── reports/ ├── scripts/ ├── tests/ │ ├── src/ │ │ ├── config/ │ ├── core/ │ │ │ │ ├── embeddings/ │ │ ├── fingerprint/ │ │ ├── firewall/ │ │ ├── ingestion/ │ │ ├── llm/ │ │ ├── metadata/ │ │ ├── preprocessing/ │ │ ├── rag/ │ │ ├── repository/ │ │ └── retriever/ │ │ │ ├── enterprise/ │ │ ├── managers/ │ │ ├── pages/ │ │ └── upload/ │ │ │ ├── research/ │ │ ├── attacks/ │ │ ├── benchmark/ │ │ ├── dataset_generator/ │ │ └── evaluation/ │ │ │ ├── services/ │ └── utils/ │ ├── enterprise_app.py ├── streamlit_app.py ├── app.py ├── requirements.txt └── README.md ``` # 🧠 核心模块 | 模块 | 描述 | |---------|-------------| | Policy Parser | 解析企业策略文档 | | Semantic Chunk Builder | 创建结构化的语义 chunk | | Embedding Engine | 生成 MiniLM embedding | | Fingerprint Engine | SHA256、SimHash 和 Embedding 指纹 | | Knowledge Firewall | 运行时知识验证和安全上下文构建 | | Trust Engine | 计算信任评分 | | Secure Retriever | 检索可信知识 | | Secure RAG | 生成可信响应 | | Repository Checker | 检测重复和二次投毒的知识 | | Attack Analyzer | 检测企业知识篡改 | | Sensitive Data Detector | 检测机密信息泄露 | | Admission Trust Engine | 在知识准入期间计算文档信任度 | # 📊 企业模块 - 企业仪表板 - 知识仓库 - 知识准入防火墙 - 仓库完整性扫描器 - 策略对比 - 版本历史 - 信任分析 - 企业助手 # 📚 数据集 该项目包含多个研究数据集： - 企业知识库 - 语义攻击库 - 投毒知识库 - 语义 Chunk 数据库 - 可信指纹数据库 - 基准数据集 - 评估数据集 # 🧪 安全 Pipeline ``` Knowledge Upload │ ▼ Policy Parsing │ ▼ Semantic Chunking │ ▼ Fingerprint Generation │ ▼ Repository Verification │ ▼ Attack Analysis │ ▼ Sensitive Data Detection │ ▼ Admission Trust Engine │ ▼ Knowledge Admission Decision │ ▼ Trusted Repository ``` # 🔐 运行时 Pipeline ``` User Query │ ▼ Secure Retriever │ ▼ Knowledge Firewall │ ▼ Trusted Context │ ▼ Prompt Builder │ ▼ Large Language Model │ ▼ Trusted Response ``` # 💻 技术栈 ### 编程 - Python 3.12 ### AI / NLP - Sentence Transformers - all-MiniLM-L6-v2 - Ollama - Qwen 2.5 ### 向量搜索 - FAISS ### 数据处理 - Pandas - NumPy ### 可视化 - Streamlit - Matplotlib ### 机器学习 - Scikit-learn ### 开发 - VS Code - Jupyter Notebook # 🚀 运行项目 ## 克隆代码库 ``` git clone https://github.com//knowledge-firewall-ai.git cd knowledge-firewall-ai ``` ## 创建虚拟环境 ``` python -m venv .venv ``` ### Windows ``` .venv\Scripts\activate ``` ### Linux / macOS ``` source .venv/bin/activate ``` ## 安装依赖 ``` pip install -r requirements.txt ``` ## 启动企业框架 ``` streamlit run enterprise_app.py ``` ## 启动 Secure RAG Assistant ``` streamlit run streamlit_app.py ``` ## 运行命令行界面 ``` python app.py ``` # 📈 当前状态 | 组件 | 状态 | | ---------------------------- | -------------- | | 研究数据集 | ✅ 完成 | | 企业知识库 | ✅ 完成 | | 指纹提取引擎 | ✅ 完成 | | Repository Checker | ✅ 完成 | | Attack Analyzer | ✅ 完成 | | Sensitive Data Detector | ✅ 完成 | | Admission Trust Engine | ✅ 完成 | | Knowledge Firewall | ✅ 完成 | | 安全检索 | ✅ 完成 | | Secure RAG | ✅ 完成 | | 企业仪表板 | 🚧 开发中 | | 知识准入防火墙 | 🚧 开发中 | | Repository Integrity Scanner | 📅 计划中 | | Trust Analytics | 📅 计划中 | | 版本历史 | 📅 计划中 | | 企业助手 | 🚧 开发中 | ## 项目状态 **研究进度：** ███████████████████████░░ 88% - ✅ 核心 AI 完成 - ✅ 核心安全完成 - 🚧 企业平台开发中 # 🗺️ 路线图 ### 阶段 1 — 核心安全（已完成） - ✅ 企业知识库 - ✅ 指纹提取引擎 - ✅ Repository Checker - ✅ Attack Analyzer - ✅ Sensitive Data Detector - ✅ Admission Trust Engine - ✅ 安全检索 - ✅ Knowledge Firewall ### 阶段 2 — 企业平台（进行中） - 🚧 企业仪表板 - 🚧 知识准入防火墙 - 🚧 企业助手 ### 阶段 3 — 企业监控（计划中） - 📅 Repository Integrity Scanner - 📅 Trust Analytics - 📅 版本历史 - 📅 持续的仓库监控 # 🎓 研究目标 - 在检索之前保护企业知识。 - 检测语料库投毒攻击。 - 检测二次投毒攻击。 - 防止 Prompt 注入。 - 验证语义完整性。 - 生成可解释的信任评分。 - 保护企业 RAG pipeline。 # 📄 许可证 本项目作为学术研究项目进行开发，旨在演示安全的企业检索增强生成系统。 # 👨‍💻 作者 **VUPPALA VARSHITH**

标签：AI风险缓解, CISA项目, DLL 劫持, Kubernetes, 人工智能安全, 内容风控, 合规性, 大语言模型, 提示注入防护, 检索增强生成, 逆向工具