ahouab/private-rag-k3s-platform
GitHub: ahouab/private-rag-k3s-platform
该项目是一个基于 Proxmox 和 K3s 构建的私有 RAG 平台参考架构,通过本地 LLM、向量检索和 GitOps 运维体系实现数据不出环境的主权 AI 能力。
Stars: 0 | Forks: 0
# 基于 K3s / Proxmox 的私有 RAG 平台
具备本地 LLM、向量搜索、GitOps、可观测性和 Kubernetes 原生操作的主权 AI 平台。
## 目的
本仓库实现了一个运行在基于 Proxmox 的 K3s 实验环境中的私有检索增强生成平台。
其目标是打造一个面向私有 AI 工作负载的生产级演示平台:
- 在 Proxmox 上实现 K3s HA
- Longhorn 分布式存储
- Argo CD GitOps 部署
- Traefik ingress 和 TLS
- Ollama 本地 LLM runtime
- Qdrant 向量数据库
- MinIO 文档存储
- 可选的 PostgreSQL 元数据存储
- Open WebUI 用户界面
- FastAPI RAG 后端
- Prometheus、Grafana 和 Loki 可观测性
- Trivy 安全扫描
- NetworkPolicies 和 secret 管理
## 目标架构
```
User
-> DNS / Traefik / TLS
-> Open WebUI
-> RAG API
-> Qdrant vector search
-> Ollama local LLM
-> MinIO document storage
-> Grafana / Loki / Prometheus observability
```
## 实验环境拓扑
| 节点 | 角色 | 用途 |
|---|---|---|
| k3s-master-01 | server + etcd | control plane |
| k3s-master-02 | server + etcd | control plane |
| k3s-master-03 | server + etcd | control plane |
| k3s-worker-ai-01 | agent | LLM、RAG、embeddings |
## 快速开始
```
kubectl apply -f clusters/proxmox-lab/namespaces.yaml
kubectl apply -n argocd -f clusters/proxmox-lab/app-of-apps.yaml
```
## 仓库结构
```
clusters/ Cluster bootstrap and Argo CD root app
apps/ Argo CD application definitions
values/ Helm values for platform components
manifests/ Shared Kubernetes manifests
rag-api/ FastAPI private RAG backend
docs/ Architecture, operations, security and demo documentation
scripts/ Bootstrap and validation scripts
.github/workflows/ CI pipeline
```
## 演示场景
1. 将内部文档摄取到 MinIO 和 Qdrant 中。
2. 通过 RAG API 提问。
3. 使用 Ollama 生成带有来源引用的答案。
4. 证明数据保留在私有实验环境内部。
5. 从 Grafana 监控延迟、错误和资源使用情况。
## 商业定位
面向需要主权 AI、数据机密性、Kubernetes 原生操作和生产级可观测性的组织的私有 RAG 平台。
Walter Assets 商标
标签:AI风险缓解, API集成, DLL 劫持, GitOps, RAG, 人工智能, 可观测性, 大语言模型, 子域名突变, 测试用例, 用户模式Hook绕过, 私有云, 自定义请求头, 逆向工具