sgl-project/sglang

博客 | 文档 | 路线图 | 加入 Slack | 每周开发会议 | 幻灯片

## 新闻 - [2026/06] 🔥 下一代推测解码：DFlash 和 Spec V2（[博客](https://lmsys.org/blog/2026-06-15-next-generation-speculative-decoding-dflash-v2/)）。 - [2026/04] 🔥 Day 0 支持 DeepSeek-V4：从快速推理到使用 SGLang 和 Miles 的已验证 RL（[博客](https://lmsys.org/blog/2026-04-25-deepseek-v4/)）。 - [2026/06] SGLang 为最新的开源模型提供 day-0 支持（[Nemotron 3 Ultra](https://lmsys.org/blog/2026-06-04-nvidia-run-nemotron-3-ultra/)、[Nemotron 3 Super](https://lmsys.org/blog/2026-03-11-run-nvidia-nemotron-3-super/)、[Higgs Audio v3 TTS](https://lmsys.org/blog/2026-06-04-higgs-audio-v3-tts/)）。 - [2026/02] 🔥 在 NVIDIA GB300 NVL72 上利用 SGLang 解锁 25 倍推理性能（[博客](https://lmsys.org/blog/2026-02-20-gb300-inferencex/)）。 - [2026/01] SGLang Diffusion 加速视频和图像生成（[博客](https://lmsys.org/blog/2026-01-16-sglang-diffusion/)）。 - [2025/12] SGLang 为最新的开源模型提供 day-0 支持（[MiMo-V2-Flash](https://lmsys.org/blog/2025-12-16-mimo-v2-flash/)、[Nemotron 3 Nano](https://lmsys.org/blog/2025-12-15-run-nvidia-nemotron-3-nano/)、[Mistral Large 3](https://github.com/sgl-project/sglang/pull/14213)、[LLaDA 2.0 Diffusion LLM](https://lmsys.org/blog/2025-12-19-diffusion-llm/)、[MiniMax M2](https://lmsys.org/blog/2025-11-04-miminmax-m2/)）。 - [2025/10] SGLang 现可通过 SGLang-Jax backend 原生运行于 TPU 上（[博客](https://lmsys.org/blog/2025-10-29-sglang-jax/)）。

更多

- [2025/09] 在 GB200 NVL72 上使用 PD 和大规模 EP 部署 DeepSeek（第二部分）：3.8 倍 Prefill，4.8 倍 Decode 吞吐量（[博客](https://lmsys.org/blog/2025-09-25-gb200-part-2/)）。 - [2025/09] SGLang Day 0 支持 DeepSeek-V3.2 Sparse Attention（[博客](https://lmsys.org/blog/2025-09-29-deepseek-V32/)）。 - [2025/08] 8 月 22 日 SGLang x AMD SF Meetup：GPU 实践 workshop，AMD/xAI/SGLang 的技术演讲，以及社交交流（[路线图](https://github.com/sgl-project/sgl-learning-materials/blob/main/slides/amd_meetup_sglang_roadmap.pdf)，[大规模 EP](https://github.com/sgl-project/sgl-learning-materials/blob/main/slides/amd_meetup_sglang_ep.pdf)，[亮点](https://github.com/sgl-project/sgl-learning-materials/blob/main/slides/amd_meetup_highlights.pdf)，[AITER/MoRI](https://github.com/sgl-project/sgl-learning-materials/blob/main/slides/amd_meetup_aiter_mori.pdf)，[Wave](https://github.com/sgl-project/sgl-learning-materials/blob/main/slides/amd_meetup_wave.pdf)）。 - [2025/11] SGLang Diffusion 加速视频和图像生成（[博客](https://lmsys.org/blog/2025-11-07-sglang-diffusion/)）。 - [2025/10] PyTorch Conference 2025 SGLang 演讲（[幻灯片](https://github.com/sgl-project/sgl-learning-materials/blob/main/slides/sglang_pytorch_2025.pdf)）。 - [2025/10] 10 月 2 日 SGLang x Nvidia SF Meetup（[回顾](https://x.com/lmsysorg/status/1975339501934510231)）。 - [2025/08] SGLang 为 OpenAI gpt-oss 模型提供 day-0 支持（[说明](https://github.com/sgl-project/sglang/issues/8833)） - [2025/06] SGLang，每日处理数万亿 token 的高性能服务基础设施，获得了 a16z 颁发的第三批开源 AI 资助（[a16z 博客](https://a16z.com/advancing-open-source-ai-through-benchmarks-and-bold-experimentation/)）。 - [2025/05] 在 96 张 H100 GPU 上通过 PD 分离和大规模 Expert Parallelism 部署 DeepSeek（[博客](https://lmsys.org/blog/2025-05-05-large-scale-ep/)）。 - [2025/06] 在 GB200 NVL72 上使用 PD 和大规模 EP 部署 DeepSeek（第一部分）：2.7 倍更高的解码吞吐量（[博客](https://lmsys.org/blog/2025-06-16-gb200-part-1/)）。 - [2025/03] 在 AMD Instinct MI300X 上加速 DeepSeek-R1 推理（[AMD 博客](https://rocm.blogs.amd.com/artificial-intelligence/DeepSeekR1-Part2/README.html)） - [2025/03] SGLang 加入 PyTorch 生态系统：高效 LLM 服务引擎（[PyTorch 博客](https://pytorch.org/blog/sglang-joins-pytorch/)） - [2025/02] 在 AMD Instinct™ MI300X GPU 上解锁 DeepSeek-R1 推理性能（[AMD 博客](https://rocm.blogs.amd.com/artificial-intelligence/DeepSeekR1_Perf/README.html)） - [2025/01] SGLang 在 NVIDIA 和 AMD GPU 上为首日发布的 DeepSeek V3/R1 模型提供支持，并进行 DeepSeek 专属优化。（[说明](https://github.com/sgl-project/sglang/tree/main/benchmark/deepseek_v3)，[AMD 博客](https://www.amd.com/en/developer/resources/technical-articles/amd-instinct-gpus-power-deepseek-v3-revolutionizing-ai-development-with-sglang.html)，[其他 10 余家公司](https://x.com/lmsysorg/status/1887262321636221412)） - [2024/12] v0.4 版本发布：零开销批处理调度器、感知缓存的负载均衡器、更快的结构化输出（[博客](https://lmsys.org/blog/2024-12-04-sglang-v0-4/)）。 - [2024/10] 首届 SGLang 线上 Meetup（[幻灯片](https://github.com/sgl-project/sgl-learning-materials?tab=readme-ov-file#the-first-sglang-online-meetup)）。 - [2024/09] v0.3 版本发布：快 7 倍的 DeepSeek MLA，快 1.5 倍的 torch.compile，多图/视频 LLaVA-OneVision（[博客](https://lmsys.org/blog/2024-09-04-sglang-v0-3/)）。 - [2024/07] v0.2 版本发布：使用 SGLang Runtime 更快地服务 Llama3（对比 TensorRT-LLM、vLLM）（[博客](https://lmsys.org/blog/2024-07-25-sglang-llama3/)）。 - [2024/02] SGLang 利用压缩有限状态机实现 **3 倍更快的 JSON 解码**（[博客](https://lmsys.org/blog/2024-02-05-compressed-fsm/)）。 - [2024/01] SGLang 通过 RadixAttention 提供高达 **5 倍更快的推理**（[博客](https://lmsys.org/blog/2024-01-17-sglang/)）。 - [2024/01] SGLang 为官方 **LLaVA v1.6** 发布 demo 提供服务支持（[用法](https://github.com/haotian-liu/LLaVA?tab=readme-ov-file#demo)）。

## 关于 SGLang 是一个为大语言模型和多模态模型设计的高性能服务框架。 它旨在从单个 GPU 到大型分布式集群的广泛部署环境中，提供低延迟、高吞吐量的推理能力。 其核心功能包括： - **快速运行时**：提供高效的服务，包含用于 prefix 缓存的 RadixAttention、零开销 CPU 调度器、prefill-decode 分离、推测解码、连续批处理、paged attention、tensor/pipeline/expert/data 并行、结构化输出、分块 prefill、量化（FP4/FP8/INT4/AWQ/GPTQ）以及多 LoRA 批处理。 - **广泛的模型支持**：支持大范围的 language model（Llama、Qwen、DeepSeek、Kimi、GLM、GPT、Gemma、Mistral 等）、embedding 模型（e5-mistral、gte、mcdse）、reward 模型以及 diffusion 模型（WAN、Qwen-Image），并且易于扩展以添加新模型。兼容大多数 Hugging Face 模型和 OpenAI API。 - **广泛的硬件支持**：可运行于 NVIDIA GPU（GB200/B300/H100/A100/Spark/5090）、AMD GPU（MI355/MI300）、Intel Xeon CPU、Google TPU、Ascend NPU 等设备。 - **活跃的社区**：SGLang 是开源的，并由一个充满活力的社区提供支持，在行业内被广泛采用，为全球超过 40 万个 GPU 提供支持。 - **RL 与 Post-Training 主干网络**：SGLang 是经过验证的 rollout backend，用于训练许多前沿模型，具有原生的 RL 集成，并被知名的 post-training 框架所采用，例如 [**AReaL**](https://github.com/inclusionAI/AReaL)、[**Miles**](https://github.com/radixark/miles)、[**slime**](https://github.com/THUDM/slime)、[**Tunix**](https://github.com/google/tunix)、[**verl**](https://github.com/volcengine/verl) 等。 ## 快速开始 - [安装 SGLang](https://docs.sglang.io/get_started/install.html) - [快速开始](https://docs.sglang.io/basic_usage/send_request.html) - [后端教程](https://docs.sglang.io/basic_usage/openai_api_completions.html) - [前端教程](https://docs.sglang.io/references/frontend/frontend_tutorial.html) - [贡献指南](https://docs.sglang.io/developer_guide/contribution_guide.html) ## 基准测试与性能 在发布博客中了解更多信息：[v0.2 博客](https://lmsys.org/blog/2024-07-25-sglang-llama3/)、[v0.3 博客](https://lmsys.org/blog/2024-09-04-sglang-v0-3/)、[v0.4 博客](https://lmsys.org/blog/2024-12-04-sglang-v0-4/)、[大规模 Expert Parallelism](https://lmsys.org/blog/2025-05-05-large-scale-ep/)、[GB200 机架级并行](https://lmsys.org/blog/2025-09-25-gb200-part-2/)、[GB300 长上下文](https://lmsys.org/blog/2026-02-19-gb300-longctx/)。 ## 应用与赞助 SGLang 已被大规模部署，在生产环境中每日生成数万亿个 token。它受到众多领先企业和机构的信任与采用，包括 xAI、AMD、NVIDIA、Intel、LinkedIn、Cursor、Oracle Cloud、Google Cloud、Microsoft Azure、AWS、Atlas Cloud、Voltage Park、Nebius、DataCrunch、Novita、InnoMatrix、Modal、MIT、UCLA、华盛顿大学、斯坦福大学、UC Berkeley、清华大学、Jam & Tea Studios、Baseten 及其他主要科技组织。 作为开源的 LLM 推理引擎，SGLang 已成为事实上的行业标准，在全球范围内运行于超过 40 万个 GPU 上。 SGLang 目前托管于非营利开源组织 [LMSYS](https://lmsys.org/about/)。 ## 联系我们 对于有兴趣大规模采用或部署 SGLang 的企业，包括技术咨询、赞助机会或合作咨询，请通过 [sglang@lmsys.org](mailto:sglang@lmsys.org) 联系我们。 长期活跃的 SGLang 贡献者有资格获得代码助手的赞助，如 Cursor、Claude Code 或 OpenAI Codex。请发送邮件至 [sglang@lmsys.org](mailto:sglang@lmsys.org) 并附上您最重要的 commit 或 pull request。 ## 致谢 我们学习了以下项目的设计并复用了它们的代码：[Guidance](https://github.com/guidance-ai/guidance)、[vLLM](https://github.com/vllm-project/vllm)、[LightLLM](https://github.com/ModelTC/lightllm)、[FlashInfer](https://github.com/flashinfer-ai/flashinfer)、[Outlines](https://github.com/outlines-dev/outlines) 和 [LMQL](https://github.com/eth-sri/lmql)。

标签：DLL 劫持, Python, 人工智能, 多模态模型, 大语言模型, 无后门, 模型推理, 用户模式Hook绕过, 高性能服务框架