vllm-project/semantic-router
GitHub: vllm-project/semantic-router
面向混合大模型架构的系统级智能路由器，通过信号驱动决策实现请求智能分发、安全防护和成本优化。
Stars: 3375 | Forks: 568
[](https://vllm-semantic-router.com)
[](https://huggingface.co/LLM-Semantic-Router)
[](LICENSE)
[](https://crates.io/crates/candle-semantic-router)
[](https://deepwiki.com/vllm-project/semantic-router)
**🎯 [演练场](https://play.vllm-semantic-router.com) | 📚 [官网](https://vllm-semantic-router.com) | 🚀 [快速开始](https://vllm-semantic-router.com/docs/installation) | 📣 [博客](https://vllm-semantic-router.com/blog/) | 📖 [出版物](https://vllm-semantic-router.com/publications/)**
*最新动态* 🔥
- [2026/03/10] v0.2 发布：[vLLM Semantic Router v0.2 Athena 版本](https://vllm.ai/blog/v0.2-vllm-sr-athena-release)
- [2026/02/27] 白皮书发布：[Signal Driven Decision Routing for Mixture-of-Modality Models](https://vllm-semantic-router.com/white-paper/)
- [2026/01/05] Iris v0.1 发布：[vLLM Semantic Router v0.1 Iris：首个主要版本](https://blog.vllm.ai/2026/01/05/vllm-sr-iris.html)
- [2025/12/16] 合作：[AMD × vLLM Semantic Router：共建系统智能](https://blog.vllm.ai/2025/12/16/vllm-sr-amd.html)
- [2025/12/15] 新博客：[Token-Level Truth: Real-Time Hallucination Detection for Production LLMs](https://blog.vllm.ai/2025/12/14/halugate.html)
- [2025/11/19] 新博客：[Signal-Decision Driven Architecture: Reshaping Semantic Routing at Scale](https://blog.vllm.ai/2025/11/19/signal-decision.html)
- [2025/11/03] 我们的论文 [Category-Aware Semantic Caching for Heterogeneous LLM Workloads](https://arxiv.org/abs/2510.26835) 已发表
- [2025/10/27] 新博客：[Scaling Semantic Routing with Extensible LoRA](https://blog.vllm.ai/2025/10/27/semantic-router-modular.html)
- [2025/10/12] 我们的论文 [When to Reason: Semantic Router for vLLM](https://arxiv.org/abs/2510.08731) 被 NeurIPS 2025 MLForSys 录用。
- [2025/10/08] 合作：vLLM Semantic Router 与 [vLLM Production Stack](https://github.com/vllm-project/production-stack) 团队。
- [2025/09/01] 项目发布：[vLLM Semantic Router: Next Phase in LLM inference](https://blog.vllm.ai/2025/09/11/semantic-router.html)。
## 快速开始
### 安装
```
$ curl -fsSL https://vllm-semantic-router.com/install.sh | bash
```
有关详细的设置选项、平台说明和故障排除，请参阅 **[文档](https://vllm-semantic-router.com/docs/installation/)**。
## 目标
我们正在为 Mixture-of-Models (MoM) 构建**系统级智能**，将**集体智能**引入 **LLM 系统**，解答以下问题：
1. 如何捕获请求、响应和上下文中缺失的信号？
2. 如何结合信号以做出更好的决策？
3. 如何在不同模型之间更高效地协作？
4. 如何保护现实世界和 LLM 系统免受越狱、PII 泄露和幻觉的影响？
5. 如何收集有价值的信号并构建自学习系统？
### 所在位置
它位于现实世界与模型之间：
## 文档 📖
如需包含详细设置说明、架构指南和 API 参考的完整文档，请访问：
阅读 **[文档](https://vllm-semantic-router.com/)** 获取完整文档
文档包括：
- **[安装指南](https://vllm-semantic-router.com/docs/installation/)** - 完整的设置说明
- **[系统架构](https://vllm-semantic-router.com/docs/intro/#architecture-overview)** - 技术深度解析
- **[模型训练](https://vllm-semantic-router.com/docs/training/training-overview/)** - 分类模型的工作原理
- **[API 参考](https://vllm-semantic-router.com/docs/api/router/)** - 完整的 API 文档
## 引用
如果您在研究或项目中发现 Semantic Router 有所帮助，请考虑引用它：
```
@misc{semanticrouter2025,
title={vLLM Semantic Router},
author={vLLM Semantic Router Team},
year={2025},
howpublished={\url{https://github.com/vllm-project/semantic-router}},
}
```
标签：AI基础设施, API网关, Candle, Clair, DLL 劫持, DNS解析, EVTX分析, IaC 扫描, LLM, MoE, Rust, Unmanaged PE, vLLM, 云计算, 人工智能, 分布式系统, 可视化界面, 向量检索, 响应大小分析, 多模态模型, 大语言模型, 开源项目, 推理优化, 提示词工程, 数据中心, 智能决策, 模型服务, 模型编排, 混合专家模型, 混合模型路由, 用户模式Hook绕过, 策略决策点, 系统级路由, 网络流量审计, 规则引擎, 语义搜索, 语义路由, 负载均衡, 边缘计算, 逆向工具, 高性能计算