ahouab/private-rag-k3s-platform

GitHub: ahouab/private-rag-k3s-platform

该项目是一个基于 Proxmox 和 K3s 构建的私有 RAG 平台参考架构,通过本地 LLM、向量检索和 GitOps 运维体系实现数据不出环境的主权 AI 能力。

Stars: 0 | Forks: 0

# 基于 K3s / Proxmox 的私有 RAG 平台 具备本地 LLM、向量搜索、GitOps、可观测性和 Kubernetes 原生操作的主权 AI 平台。 ## 目的 本仓库实现了一个运行在基于 Proxmox 的 K3s 实验环境中的私有检索增强生成平台。 其目标是打造一个面向私有 AI 工作负载的生产级演示平台: - 在 Proxmox 上实现 K3s HA - Longhorn 分布式存储 - Argo CD GitOps 部署 - Traefik ingress 和 TLS - Ollama 本地 LLM runtime - Qdrant 向量数据库 - MinIO 文档存储 - 可选的 PostgreSQL 元数据存储 - Open WebUI 用户界面 - FastAPI RAG 后端 - Prometheus、Grafana 和 Loki 可观测性 - Trivy 安全扫描 - NetworkPolicies 和 secret 管理 ## 目标架构 ``` User -> DNS / Traefik / TLS -> Open WebUI -> RAG API -> Qdrant vector search -> Ollama local LLM -> MinIO document storage -> Grafana / Loki / Prometheus observability ``` ## 实验环境拓扑 | 节点 | 角色 | 用途 | |---|---|---| | k3s-master-01 | server + etcd | control plane | | k3s-master-02 | server + etcd | control plane | | k3s-master-03 | server + etcd | control plane | | k3s-worker-ai-01 | agent | LLM、RAG、embeddings | ## 快速开始 ``` kubectl apply -f clusters/proxmox-lab/namespaces.yaml kubectl apply -n argocd -f clusters/proxmox-lab/app-of-apps.yaml ``` ## 仓库结构 ``` clusters/ Cluster bootstrap and Argo CD root app apps/ Argo CD application definitions values/ Helm values for platform components manifests/ Shared Kubernetes manifests rag-api/ FastAPI private RAG backend docs/ Architecture, operations, security and demo documentation scripts/ Bootstrap and validation scripts .github/workflows/ CI pipeline ``` ## 演示场景 1. 将内部文档摄取到 MinIO 和 Qdrant 中。 2. 通过 RAG API 提问。 3. 使用 Ollama 生成带有来源引用的答案。 4. 证明数据保留在私有实验环境内部。 5. 从 Grafana 监控延迟、错误和资源使用情况。 ## 商业定位 面向需要主权 AI、数据机密性、Kubernetes 原生操作和生产级可观测性的组织的私有 RAG 平台。 Walter Assets 商标
标签:AI风险缓解, API集成, DLL 劫持, GitOps, RAG, 人工智能, 可观测性, 大语言模型, 子域名突变, 测试用例, 用户模式Hook绕过, 私有云, 自定义请求头, 逆向工具