NVIDIA/NeMo-Relay
GitHub: NVIDIA/NeMo-Relay
NVIDIA 推出的多语言 Agent 运行时库,通过统一的生命周期管理、中间件和插件机制,为 LLM 与工具调用提供跨框架的可观测性及执行控制。
Stars: 76 | Forks: 42
Scopes
App --> Middleware
Plugins --> Middleware
Scopes --> Events
Middleware --> Events
Events --> Output
```
## 支持状态
下表显示了当前支持的语言绑定和 CLI 功能:
| 绑定 | 状态 | 备注 |
|---|---|---|
| Python | 完全支持 | 提供包含快速入门和指南的文档。 |
| Node.js | 完全支持 | 提供包含快速入门和指南的文档。 |
| Rust | 完全支持 | 提供包含快速入门和指南的文档。 |
| NeMo Relay CLI | 支持 | 支持本地可观测性和基于 hook 的安全;优化功能尚不完整且依赖于宿主环境。 |
| Go | 实验性 | 源码优先,位于 `go/nemo_relay` 下。 |
| FFI | 实验性 | 源码优先,位于 `crates/ffi` 下。 |
### Agent Harness 支持
CLI 支持矩阵将支持的 CLI 接口与特定于宿主的覆盖范围区分开来。
- 可观测性适用于列出的 harness。
- 当宿主公开拦截式 hook 时,即支持安全性。
- 优化功能仍然不完整且依赖于宿主环境。
| Agent | 可观测性 | 安全性 | 优化 | 备注 |
|:--|:--:|:--:|:--:|:--|
| Claude Code | 是 | 是 | 部分 | 支持 hook 转发、工具执行前拦截以及通过网关路由的 LLM 可观测性。 |
| Codex | 是 | 是 | 部分 | 需要激活 hook;缺少会话结束行为限制了 trajectory 完成和完整的优化覆盖。 |
| Hermes Agent | 是 | 是 | 部分 | 支持 hook 转发、工具执行前拦截以及通过网关路由或基于 hook 的 LLM 可观测性。 |
### 公共 API 集成
当框架公开了能够保留足够生命周期保真度的稳定回调、middleware 或插件 hook 时,请使用这些集成。
| Agent / 库 | 可观测性 | 安全性 | 优化 | 备注 |
|:--|:--:|:--:|:--:|:--|
| LangChain | 是 | 是 | 是 | 包装的工具和 LLM 调用。 |
| LangGraph | 是 | 是 | 是 | 包装的工具和 LLM 调用。 |
| Deep Agents | 是 | 是 | 是 | 包装的工具和 LLM 调用。 |
| OpenClaw | 是 | 部分 | 否 | 基于 hook 的遥测和工具执行前 guardrail。公共 hook 未公开托管执行重写。 |
Python `nemo-relay` 包为 LangChain、LangGraph 和 Deep Agents 提供了额外的扩展依赖:
```
uv add "nemo-relay[langchain,langgraph,deepagents]"
```
有关设置指南和当前的注意事项,请参阅[支持的集成](https://docs.nvidia.com/nemo/relay/supported-integrations/about)。
## 文档
终端用户文档位于 [NVIDIA NeMo Relay 文档](https://docs.nvidia.com/nemo/relay)。
重要的本地入口:
- [概述](https://docs.nvidia.com/nemo/relay/about-nemo-relay/overview)
- [安装](https://docs.nvidia.com/nemo/relay/getting-started/installation)
- [Agent Runtime 入门](https://docs.nvidia.com/nemo/relay/getting-started/agent-runtime-primer)
- [测试与文档](https://docs.nvidia.com/nemo/relay/contribute/testing-and-docs)
有关源码构建、测试和贡献工作流,请参阅 [CONTRIBUTING.md](CONTRIBUTING.md)。
## 路线图
- [ ] NemoClaw 的支持与集成,用于托管的工具和 LLM 执行流。
- [ ] 跨越 agent、guardrail、评估和可观测性工作流的更深层次 NVIDIA NeMo 生态系统集成。
- [ ] 扩展的自适应优化功能,用于性能感知调度、提示和缓存行为。
- [ ] 针对常见 agent runtime 和框架的第一方插件和包(在 upstream 扩展点允许的情况下)。
## 许可证
NVIDIA NeMo Relay 采用 Apache License 2.0 授权。
标签:AI智能体, API集成, DLL 劫持, MITM代理, SOC Prime, 可观测性, 可视化界面, 大语言模型, 开发工具, 日志审计, 生命周期管理, 用户代理, 运行时, 逆向工具, 通知系统