NVIDIA/NeMo-Relay

GitHub: NVIDIA/NeMo-Relay

NVIDIA 推出的多语言 Agent 运行时库,通过统一的生命周期管理、中间件和插件机制,为 LLM 与工具调用提供跨框架的可观测性及执行控制。

Stars: 76 | Forks: 42

Scopes App --> Middleware Plugins --> Middleware Scopes --> Events Middleware --> Events Events --> Output ``` ## 支持状态 下表显示了当前支持的语言绑定和 CLI 功能: | 绑定 | 状态 | 备注 | |---|---|---| | Python | 完全支持 | 提供包含快速入门和指南的文档。 | | Node.js | 完全支持 | 提供包含快速入门和指南的文档。 | | Rust | 完全支持 | 提供包含快速入门和指南的文档。 | | NeMo Relay CLI | 支持 | 支持本地可观测性和基于 hook 的安全;优化功能尚不完整且依赖于宿主环境。 | | Go | 实验性 | 源码优先,位于 `go/nemo_relay` 下。 | | FFI | 实验性 | 源码优先,位于 `crates/ffi` 下。 | ### Agent Harness 支持 CLI 支持矩阵将支持的 CLI 接口与特定于宿主的覆盖范围区分开来。 - 可观测性适用于列出的 harness。 - 当宿主公开拦截式 hook 时,即支持安全性。 - 优化功能仍然不完整且依赖于宿主环境。 | Agent | 可观测性 | 安全性 | 优化 | 备注 | |:--|:--:|:--:|:--:|:--| | Claude Code | 是 | 是 | 部分 | 支持 hook 转发、工具执行前拦截以及通过网关路由的 LLM 可观测性。 | | Codex | 是 | 是 | 部分 | 需要激活 hook;缺少会话结束行为限制了 trajectory 完成和完整的优化覆盖。 | | Hermes Agent | 是 | 是 | 部分 | 支持 hook 转发、工具执行前拦截以及通过网关路由或基于 hook 的 LLM 可观测性。 | ### 公共 API 集成 当框架公开了能够保留足够生命周期保真度的稳定回调、middleware 或插件 hook 时,请使用这些集成。 | Agent / 库 | 可观测性 | 安全性 | 优化 | 备注 | |:--|:--:|:--:|:--:|:--| | LangChain | 是 | 是 | 是 | 包装的工具和 LLM 调用。 | | LangGraph | 是 | 是 | 是 | 包装的工具和 LLM 调用。 | | Deep Agents | 是 | 是 | 是 | 包装的工具和 LLM 调用。 | | OpenClaw | 是 | 部分 | 否 | 基于 hook 的遥测和工具执行前 guardrail。公共 hook 未公开托管执行重写。 | Python `nemo-relay` 包为 LangChain、LangGraph 和 Deep Agents 提供了额外的扩展依赖: ``` uv add "nemo-relay[langchain,langgraph,deepagents]" ``` 有关设置指南和当前的注意事项,请参阅[支持的集成](https://docs.nvidia.com/nemo/relay/supported-integrations/about)。 ## 文档 终端用户文档位于 [NVIDIA NeMo Relay 文档](https://docs.nvidia.com/nemo/relay)。 重要的本地入口: - [概述](https://docs.nvidia.com/nemo/relay/about-nemo-relay/overview) - [安装](https://docs.nvidia.com/nemo/relay/getting-started/installation) - [Agent Runtime 入门](https://docs.nvidia.com/nemo/relay/getting-started/agent-runtime-primer) - [测试与文档](https://docs.nvidia.com/nemo/relay/contribute/testing-and-docs) 有关源码构建、测试和贡献工作流,请参阅 [CONTRIBUTING.md](CONTRIBUTING.md)。 ## 路线图 - [ ] NemoClaw 的支持与集成,用于托管的工具和 LLM 执行流。 - [ ] 跨越 agent、guardrail、评估和可观测性工作流的更深层次 NVIDIA NeMo 生态系统集成。 - [ ] 扩展的自适应优化功能,用于性能感知调度、提示和缓存行为。 - [ ] 针对常见 agent runtime 和框架的第一方插件和包(在 upstream 扩展点允许的情况下)。 ## 许可证 NVIDIA NeMo Relay 采用 Apache License 2.0 授权。
标签:AI智能体, API集成, DLL 劫持, MITM代理, SOC Prime, 可观测性, 可视化界面, 大语言模型, 开发工具, 日志审计, 生命周期管理, 用户代理, 运行时, 逆向工具, 通知系统