NVIDIA/srt-slurm
GitHub: NVIDIA/srt-slurm
NVIDIA 提供的命令行工具，通过声明式配置在 SLURM 集群上对 TensorRT-LLM、SGLang 和 vLLM 进行分布式 LLM 推理基准测试与性能分析。
Stars: 37 | Forks: 63
# srtctl
命令行工具，用于在使用 TensorRT LLM、SGLang 和 vLLM 的 SLURM 集群上进行分布式 LLM 推理基准测试。使用声明式 YAML 配置替代复杂的 shell 脚本和 50 多个 CLI 标志。
## 快速开始
```
# 克隆并安装
git clone https://github.com/your-org/srtctl.git
cd srtctl
pip install -e .
# 一次性设置 (下载 NATS/ETCD，创建 srtslurm.yaml)
make setup ARCH=aarch64 # or ARCH=x86_64
```
## 文档
**完整文档：** https://srtctl.gitbook.io/srtctl-docs/
- [安装](docs/installation.md) - 设置与配置
- [监控](docs/monitoring.md) - 作业日志与调试
- [参数扫描](docs/sweeps.md) - 网格搜索
- [性能分析](docs/profiling.md) - Torch/nsys 性能分析
- [分析结果](docs/analyzing.md) - 仪表板与可视化
## 命令
```
# 提交作业
srtctl apply -f config.yaml
# 使用自定义设置脚本提交
srtctl apply -f config.yaml --setup-script custom-setup.sh
# 使用标签进行过滤提交
srtctl apply -f config.yaml --tags experiment,baseline
# Dry-run (验证而不提交)
srtctl dry-run -f config.yaml
# 启动分析 dashboard
uv run streamlit run analysis/dashboard/app.py
```
标签：Kubernetes, SLURM集群, TensorRT-LLM, Trivy, vLLM, 大模型推理, 性能基准测试, 逆向工具