jd-opensource/xllm

GitHub: jd-opensource/xllm

京东开源的高性能大模型推理引擎，专为国产 AI 加速器优化，支持动态调度、全局 KV Cache 管理和推测解码等特性。

Stars: 1092 | Forks: 154