triton-inference-server/server

GitHub: triton-inference-server/server

NVIDIA 开源的 AI 推理服务器，支持多种深度学习框架和异构硬件，为云端和边缘提供高性能的模型部署与推理服务。

Stars: 10835 | Forks: 1809