SemiAnalysisAI/InferenceX
GitHub: SemiAnalysisAI/InferenceX
一个开源的大模型推理性能持续基准测试平台，在多种旗舰 GPU 硬件上实时追踪主流推理框架和模型的性能演进。
Stars: 1247 | Forks: 227
# InferenceX™，开源持续推理标准与研究平台
## 为什么？
InferenceX™ 是一款采用 Apache2 协议的开源自动化基准测试工具，旨在以与软件生态系统本身相同的极快速度迭代，正是为了解决这一挑战而构建。
LLM 推理性能由两大支柱驱动：硬件和软件。硬件创新通过发布新的 GPU/XPU 和新系统，每年推动性能实现阶跃式提升；而软件每天都在演进，在这些阶跃提升的基础上持续带来性能收益。速度就是护城河 🚀
SGLang、vLLM、TensorRT-LLM、CUDA、ROCm 等 AI 软件，通过底层内核级别的优化、分布式推理策略以及调度创新，实现了这种持续的性能提升。这些创新在间隔可能仅有几天的增量版本发布中，不断拓展性能的帕累托前沿 (Pareto frontier)。
这种软件进步的速度带来了一个挑战：在固定时间点进行的基准测试很快就会过时，无法代表使用最新软件包所能达到的性能。
## 官方支持的硬件
| SKU | 状态 |
| --- | --- |
| GB300 NVL72 | ✅ |
| GB200 NVL72 | ✅ |
| MI355X | ✅ |
| B300 | ✅ |
| B200 | ✅ |
| MI325X | ✅ |
| MI300X | ✅ |
| H200 | ✅ |
| H100 | ✅ |
| MI455 UALoE72 | 即将推出 🔜 |
| Vera Rubin NVL72 | 即将推出 🔜 |
| Rubin NVL8 | 即将推出 🔜 |
| 硬件供应商 #1 的芯片 #1 | 即将推出 🔜 |
| 硬件供应商 #1 的芯片 #2 | 即将推出 🔜 |
| 硬件供应商 #2 的芯片 #1 | 即将推出 🔜 |
| 硬件供应商 #3 的芯片 #1 | 即将推出 🔜 |
| 硬件供应商 #4 的芯片 #1 | 即将推出 🔜 |
## 致谢与支持者
感谢 Lisa Su 和 Anush Elangovan 为这个免费开源项目提供 MI355X 和 CDNA3 GPU。我们要感谢众多 AMD 贡献者，感谢他们的积极响应，以及在 AMD GPU 上进行调试、优化和验证性能所做的工作。
我们还要感谢 Jensen Huang 和 Ian Buck 对此开源项目的支持，他们提供了 GB200 NVL72 机架（通过 OCI）和 B200 GPU 的访问权限。感谢来自 NVIDIA 推理团队和 NVIDIA Dynamo 团队的众多 NVIDIA 贡献者。
我们也要向 SGLang、vLLM 和 TensorRT-LLM 的维护者致敬，感谢他们构建了世界级的软件栈并将其开源给全世界。
最后，我们感谢 Crusoe、CoreWeave、Nebius、TensorWave、Oracle 和 TogetherAI 通过提供计算资源来支持开源创新，使这一切成为可能。
完整支持者名单与引言：https://inferencex.semianalysis.com/quotes
**English** | [中文](./README_zh.md)
受 OpenAI、Meta、Microsoft、Oracle 等万亿美元级 Token 工厂，以及 PyTorch Foundation、vLLM、SGLang、Tri Dao 等 ML 社区的信赖
## 新闻
- **[2026/06]** 🔥 MiniMax M3：自第 0 天起进行持续基准测试 [仪表盘](https://inferencex.semianalysis.com/inference?preset=minimax-m3-launch)
- **[2026/04]** 🔥 DeepSeek V4 Pro 1.6T：自第 0 天起进行持续基准测试 [文章](https://newsletter.semianalysis.com/p/deepseekv4-16t-day-0-to-day-43-performance), [仪表盘](https://inferencex.semianalysis.com/inference?preset=dsv4-launch)
- **[2026/03]** 🔥 Qwen3.5 397B：自第 0 天起进行持续基准测试 [仪表盘](https://inferencex.semianalysis.com/)
- **[2026/03]** 新增 Kimi K2.5（架构与 Kimi 2.7-Code 相同）、GLM5（架构与 GLM5.1 相同）和 MiniMax M2.5（架构与 MiniMax M2.7 相同）[仪表盘](https://inferencex.semianalysis.com/)
- **[2026/02]** GB300 NVL72：已加入 InferenceX 并进行持续基准测试 [SGLang 维护者 Lmsys 博客](https://www.lmsys.org/blog/2026-02-20-gb300-inferencex/)
- **[2026/02]** 🔥 InferenceX v2 发布 — NVIDIA Blackwell vs AMD vs Hopper [文章](https://newsletter.semianalysis.com/p/inferencex-v2-nvidia-blackwell-vs)
- **[2025/10]** 🔥 InferenceX（原名 InferenceMAX）v1 发布 [文章](https://newsletter.semianalysis.com/p/inferencemax-open-source-inference)
## 简介
InferenceX™（原名 InferenceMAX）是一个推理性能研究平台，致力于持续分析和基准测试全球最受欢迎的开源推理框架。这些框架被各大 Token 工厂和模型使用，以实时追踪其真实性能。随着这些软件栈的不断改进，InferenceX™ 能够近乎实时地捕捉这些进展，为推理性能的进步提供实时指标。一个 [开源](https://github.com/SemiAnalysisAI/InferenceX-app) 的实时仪表盘已在 https://inferencex.com/ 免费向公众开放。
## 为什么？
InferenceX™ 是一款采用 Apache2 协议的开源自动化基准测试工具，旨在以与软件生态系统本身相同的极快速度迭代，正是为了解决这一挑战而构建。
LLM 推理性能由两大支柱驱动：硬件和软件。硬件创新通过发布新的 GPU/XPU 和新系统，每年推动性能实现阶跃式提升；而软件每天都在演进，在这些阶跃提升的基础上持续带来性能收益。速度就是护城河 🚀
SGLang、vLLM、TensorRT-LLM、CUDA、ROCm 等 AI 软件，通过底层内核级别的优化、分布式推理策略以及调度创新，实现了这种持续的性能提升。这些创新在间隔可能仅有几天的增量版本发布中，不断拓展性能的帕累托前沿 (Pareto frontier)。
这种软件进步的速度带来了一个挑战：在固定时间点进行的基准测试很快就会过时，无法代表使用最新软件包所能达到的性能。
## 官方支持的硬件
| SKU | 状态 |
| --- | --- |
| GB300 NVL72 | ✅ |
| GB200 NVL72 | ✅ |
| MI355X | ✅ |
| B300 | ✅ |
| B200 | ✅ |
| MI325X | ✅ |
| MI300X | ✅ |
| H200 | ✅ |
| H100 | ✅ |
| MI455 UALoE72 | 即将推出 🔜 |
| Vera Rubin NVL72 | 即将推出 🔜 |
| Rubin NVL8 | 即将推出 🔜 |
| 硬件供应商 #1 的芯片 #1 | 即将推出 🔜 |
| 硬件供应商 #1 的芯片 #2 | 即将推出 🔜 |
| 硬件供应商 #2 的芯片 #1 | 即将推出 🔜 |
| 硬件供应商 #3 的芯片 #1 | 即将推出 🔜 |
| 硬件供应商 #4 的芯片 #1 | 即将推出 🔜 |
## 致谢与支持者
感谢 Lisa Su 和 Anush Elangovan 为这个免费开源项目提供 MI355X 和 CDNA3 GPU。我们要感谢众多 AMD 贡献者，感谢他们的积极响应，以及在 AMD GPU 上进行调试、优化和验证性能所做的工作。
我们还要感谢 Jensen Huang 和 Ian Buck 对此开源项目的支持，他们提供了 GB200 NVL72 机架（通过 OCI）和 B200 GPU 的访问权限。感谢来自 NVIDIA 推理团队和 NVIDIA Dynamo 团队的众多 NVIDIA 贡献者。
我们也要向 SGLang、vLLM 和 TensorRT-LLM 的维护者致敬，感谢他们构建了世界级的软件栈并将其开源给全世界。
最后，我们感谢 Crusoe、CoreWeave、Nebius、TensorWave、Oracle 和 TogetherAI 通过提供计算资源来支持开源创新，使这一切成为可能。
完整支持者名单与引言：https://inferencex.semianalysis.com/quotes
标签：AI硬件评估, Vectored Exception Handling, 大模型推理, 开源平台, 性能基准, 系统研究, 逆向工具