Dstack-TEE/dstack
GitHub: Dstack-TEE/dstack
面向机密 AI 的开放框架，基于 Intel TDX 和 NVIDIA GPU TEE 提供零信任容器部署与可验证执行能力。
Stars: 443 | Forks: 72
### 面向机密 AI 的开放框架。
[](https://github.com/Dstack-TEE/dstack/stargazers)
[](https://github.com/Dstack-TEE/dstack/blob/master/LICENSE)
[](https://api.reuse.software/info/github.com/Dstack-TEE/dstack)
[](https://deepwiki.com/Dstack-TEE/dstack)
[](https://t.me/+UO4bS4jflr45YmUx)
Original Contributors: Hang Yin, Kevin Wang, Andrew Miller
[文档](https://docs.phala.com/dstack) · [示例](https://github.com/Dstack-TEE/dstack-examples) · [社区](https://t.me/+UO4bS4jflr45YmUx)
## 什么是 dstack？
dstack 是面向机密 AI 的开放框架 —— 部署具有加密隐私保障的 AI 应用。
AI 提供商要求用户信任他们处理敏感数据。但信任无法扩展，也无法验证。使用 dstack，您的容器在机密 VM (Intel TDX) 内运行，并原生支持 NVIDIA Confidential Computing (H100, Blackwell)。用户可以以加密方式精确验证正在运行的内容：使用您现有的 Docker 工作流实现私有 AI。
### 功能特性
**零摩擦上手**
- **Docker Compose 原生支持**：直接使用您的 docker-compose.yaml。无需 SDK，无需修改代码。
- **默认加密**：网络流量和磁盘存储开箱即用即加密。
**基于硬件的安全保障**
- **硬件级隐私**：数据在内存中加密，即使主机也无法访问。
- **可复现 OS**：确定性构建意味着任何人都可以验证 OS 镜像哈希。
- **工作负载身份**：每个应用都获得一个用户可以加密验证的证明身份。
- **机密 GPU**：原生支持 NVIDIA Confidential Computing (H100, Blackwell)。
**去信任化操作**
- **隔离密钥**：在 TEE 中派生每应用密钥。在硬件故障后依然存活。从不暴露给运维人员。
- **代码治理**：更新遵循预定义规则（例如，多方审批）。运维人员无法交换代码或访问机密。
## 快速入门
**立即尝试：** 在 [chat.redpill.ai](https://chat.redpill.ai) 与运行在 TEE 中的 LLM 聊天。点击盾牌图标验证来自 Intel TDX 和 NVIDIA GPU 的证明。
**部署您自己的应用：**
```
# docker-compose.yaml
services:
vllm:
image: vllm/vllm-openai:latest
runtime: nvidia
command: --model Qwen/Qwen2.5-7B-Instruct
ports:
- "8000:8000"
```
使用 [`dstack-nvidia-0.5.x` 基础镜像](https://github.com/Dstack-TEE/meta-dstack/releases) 部署到任何 TDX 主机，或使用 [Phala Cloud](https://cloud.phala.network) 获得托管基础设施。
想要部署自托管的 dstack？查看我们的 [完整部署指南 →](./docs/deployment.md)
## 架构
您的容器运行在机密 VM (Intel TDX) 内，并通过 NVIDIA Confidential Computing 提供可选的 GPU 隔离。CPU TEE 保护应用程序逻辑；GPU TEE 保护模型权重和推理数据。
**核心组件：**
- **Guest Agent**：运行在每个 CVM 内。生成 TDX 引用证明，以便用户确切验证正在运行的内容。从 KMS 为每个应用配置加密密钥。加密本地存储。应用通过 `/var/run/dstack.sock` 交互。
- **KMS**：运行在其自己的 TEE 中。在释放密钥前验证 TDX 引用。执行链上智能合约中定义的授权策略 —— 运维人员无法绕过这些检查。派生绑定到每个应用证明身份的确定性密钥。
- **Gateway**：在边缘终止 TLS 并自动配置 ACME 证书。将流量路由到 CVM。所有内部通信使用 RA-TLS 进行相互证明。
- **VMM**：运行在裸机 TDX 主机上。直接解析 docker-compose 文件 —— 无需应用更改。从可复现的 OS 镜像启动 CVM。分配 CPU、内存和机密 GPU 资源。
[完整安全模型 →](./docs/security/security-model.md)
## SDK
应用通过 HTTP 经 `/var/run/dstack.sock` 与 guest agent 通信。直接使用 curl 调用 [HTTP API](./sdk/curl/api.md)，或使用语言 SDK：
| Language | Install | Docs |
|----------|---------|------|
| Python | `pip install dstack-sdk` | [README](./sdk/python/README.md) |
| TypeScript | `npm install @phala/dstack-sdk` | [README](./sdk/js/README.md) |
| Rust | `cargo add dstack-sdk` | [README](./sdk/rust/README.md) |
| Go | `go get github.com/Dstack-TEE/dstack/sdk/go` | [README](./sdk/go/README.md) |
## 文档
**面向开发者**
- [机密 AI](./docs/confidential-ai.md) - 具有硬件隐私的推理、代理和训练
- [使用指南](./docs/usage.md) - 部署和管理应用
- [验证](./docs/verification.md) - 如何验证 TEE 证明
**面向运维人员**
- [部署](./docs/deployment.md) - 在 TDX 硬件上自托管
- [链上治理](./docs/onchain-governance.md) - 智能合约授权
- [Gateway](./docs/dstack-gateway.md) - Gateway 配置
**参考**
- [App Compose 格式](./docs/normalized-app-compose.md) - Compose 文件规范
- [VMM CLI 指南](./docs/vmm-cli-user-guide.md) - 命令行参考
- [设计决策](./docs/design-and-hardening-decisions.md) - 架构原理
- [FAQ](./docs/faq.md) - 常见问题
## 安全
- [安全概述](./docs/security/) - 安全文档和负责任披露
- [安全模型](./docs/security/security-model.md) - 威胁模型和信任边界
- [安全最佳实践](./docs/security/security-best-practices.md) - 生产环境加固
- [安全审计](./docs/security/dstack-audit.pdf) - 由 zkSecurity 进行第三方审计
- [CVM 边界](./docs/security/cvm-boundaries.md) - 信息交换与隔离
## FAQ
为什么不直接使用 AWS Nitro / Azure Confidential VMs / GCP？
您可以 —— 但您需要自己构建一切：证明验证、密钥管理、Docker 编排、证书配置和治理。dstack 开箱即用地提供所有这些功能。 | Approach | Docker native | GPU TEE | Key management | Attestation tooling | Open source | |----------|:-------------:|:-------:|:--------------:|:-------------------:|:-----------:| | **dstack** | ✓ | ✓ | ✓ | ✓ | ✓ | | AWS Nitro Enclaves | - | - | Manual | Manual | - | | Azure Confidential VMs | - | Preview | Manual | Manual | - | | GCP Confidential Computing | - | - | Manual | Manual | - | 云提供商为您提供硬件原语。dstack 为您提供完整的技术栈：可复现的 OS 镜像、自动证明、每应用密钥派生、TLS 证书和智能合约治理。没有供应商锁定。这与 SGX/Gramine 有何不同？
SGX 需要将应用程序移植到 enclave。dstack 使用全 VM 隔离 (Intel TDX) —— 直接使用您的 Docker 容器。加上 SGX 不提供的 GPU TEE 支持。性能开销是多少？
极小。Intel TDX 为 CPU 工作负载增加约 2-5% 的开销。NVIDIA Confidential Computing 对 GPU 推理的影响可以忽略不计。主要成本是内存加密，这在支持的 CPU 上是硬件加速的。这是生产就绪的吗？
是的。dstack 为 [OpenRouter](https://openrouter.ai/provider/phala) 和 [NEAR AI](https://x.com/ilblackdragon/status/1962920246148268235) 的生产 AI 基础设施提供支持。该框架已由 [zkSecurity 审计](./docs/security/dstack-audit.pdf)，并且是 Linux Foundation Confidential Computing Consortium 的一个项目。我可以在自己的硬件上运行吗？
可以。dstack 可以在任何支持 Intel TDX 的服务器上运行。有关自托管说明，请参阅 [部署指南](./docs/deployment.md)。您也可以使用 [Phala Cloud](https://cloud.phala.network) 获得托管基础设施。支持哪些 TEE 硬件？
目前：Intel TDX (第 4/5 代 Xeon) 和 NVIDIA Confidential Computing (H100, Blackwell)。计划支持 AMD SEV-SNP。用户如何验证我的部署？
您的应用通过 SDK 暴露证明引用。用户使用 [dstack-verifier](https://github.com/Dstack-TEE/dstack/tree/master/verifier)、[dcap-qvl](https://github.com/Phala-Network/dcap-qvl) 或 [Trust Center](https://trust.phala.com) 验证这些引用。有关详细信息，请参阅 [验证指南](./docs/verification.md)。标签：Docker, Intel TDX, JSONLines, NVIDIA H100, Phala Network, TEE, Web截图, 区块链, 可信执行环境, 可视化界面, 同态加密, 安全防御评估, 容器安全, 底层编程, 开源框架, 持续集成, 日志审计, 机密AI, 机密计算, 版权保护, 硬件安全, 网络安全, 请求拦截, 远程证明, 逆向工具, 通知系统, 通知系统, 隐私保护, 零信任