spark-arena/sparkrun

一条命令统领一切

在一个或多个 NVIDIA DGX Spark 系统上启动、管理和停止 LLM 推理工作负载 —— 无需 Slurm，无需 Kubernetes，告别繁琐。

文档 · 快速开始 · 配置方案 · Spark Arena

## 安装 ``` uvx sparkrun setup ``` 一条命令 —— 安装 sparkrun，随后启动引导式设置向导来创建集群、配置 SSH mesh、检测 ConnectX-7 NIC、设置 sudoers 并启用 earlyoom。 ## 快速开始 ``` # 运行推理 workload sparkrun run qwen3-1.7b-vllm # 多节点 tensor parallelism（TP 映射到 DGX Spark 上的节点数） sparkrun run qwen3-1.7b-vllm --tp 2 # 重新附加到日志，停止 workload，检查状态 sparkrun logs qwen3-1.7b-vllm sparkrun stop qwen3-1.7b-vllm sparkrun status ``` Ctrl+C 仅退出日志查看 —— 它绝不会终止您的推理任务。您的模型会继续提供服务。 有关所有命令和选项，请参阅[完整的 CLI 参考](https://sparkrun.dev/cli/overview/)。 ## 更新 ``` sparkrun update ``` 升级 sparkrun（通过 `uv tool` 安装时）并刷新 recipe 注册表。 ### 更新渠道（高级） 选择安装从 git 而非 PyPI 获取的预览版本： ``` sparkrun update --stable # PyPI stable release (default) sparkrun update --beta # develop branch preview sparkrun update --alpha # develop-next branch (bleeding edge) sparkrun update --yolo # alias for --alpha ``` 不带任何标志的 `sparkrun update` 将保持在当前渠道；指定渠道标志则会切换并在以后的更新中记住该设置。这些标志同样适用于 `sparkrun setup install` 和 `sparkrun setup update`。稳定版会打印纯版本号（`0.2.40`）；beta/alpha 版会添加渠道后缀和 commit 哈希（`0.3.0-alpha+g1a2b3c4`）。从预览渠道切回 `--stable` 可能会导致降级。 ## 核心亮点 - **多 runtime** —— 开箱即用支持 vLLM、SGLang、llama.cpp - **多节点张量并行** —— `--tp 2` = 2 台主机，自动检测 InfiniBand/RDMA - **VRAM 估算** —— 在启动前了解您的模型是否合适（`sparkrun show `） - **基于 Git 的 recipe 注册表** —— 我们通过 [Spark Arena](https://spark-arena.com) 发布官方 recipe、社区 recipe 和基准测试 recipe，您也可以添加自己的注册表。 - **引导式设置向导** —— 集群创建、SSH mesh、CX7 自动检测、sudoers、earlyoom - **模型与容器分发** —— 通过 SSH 自动将模型和镜像同步到集群节点 ## Spark Arena [Spark Arena](https://spark-arena.com) 是 DGX Spark recipe 基准测试的社区中心 —— 浏览基准测试结果，然后使用 sparkrun 直接运行它们。 ## 官方 Recipe [官方 Recipe](https://github.com/spark-arena/recipe-registry) 由 Spark Arena 团队维护并托管在 GitHub 上。它们经过测试并专门针对 NVIDIA DGX Spark 系统进行了优化。 ## 社区 Recipe [社区 Recipe](https://github.com/spark-arena/community-recipe-registry) 由社区贡献并托管在 GitHub 上。 ## 赞助商 ## 许可证 Apache License 2.0 —— 详情请参阅 [LICENSE](LICENSE)。

标签：DLL 劫持, 任务调度, 内存分配, 多节点集群, 大语言模型, 模型推理, 运维工具, 逆向工具