api-evangelist/ngrok-ai

# ngrok AI 网关 (ngrok-ai) ngrok AI 网关为 AI API 提供流量管理和安全性，包括多提供商路由、自动故障转移、LLM 提示检查、速率限制、缓存、可观测性、PII 脱敏以及访问控制。它使团队能够通过 OpenAI 兼容的接口，管理和保护流向 AI 模型提供商（OpenAI、Anthropic、Google、DeepSeek）以及自托管模型（如 Ollama 和 vLLM）的流量。 **URL:** [访问 APIs.json URL](https://raw.githubusercontent.com/api-evangelist/ngrok-ai/refs/heads/main/apis.yml) **运行:** [使用 Naftiko 的能力](https://github.com/naftiko/fleet?utm_source=api-evangelist&utm_medium=readme&utm_campaign=company-api-evangelist&utm_content=repo) ## 范围 - **类型:** 索引 - **位置:** 消费者 - **访问:** 第三方 ## 标签 - AI, AI Gateway, API Gateway, LLM, OpenAI Compatible, Routing, Security, Traffic Management ## 时间戳 - **创建时间:** 2026-03-16 - **修改时间:** 2026-04-28 ## API ### ngrok AI 网关 ngrok AI 网关提供一个 OpenAI 兼容的 HTTP 接口，用于将请求路由到多个 AI 提供商和自托管模型。每个 AI 网关实例都有一个唯一的基 URL，格式为 `https://your-ai-gateway.ngrok.app/v1`，并接受标准的 OpenAI SDK 调用，包括聊天补全。流量策略提供速率限制、提示检查、PII 脱敏、响应净化、模型访问控制、基于成本的路由以及自动提供商故障转移。 **人工 URL:** [https://ngrok.com/docs/ai-gateway/](https://ngrok.com/docs/ai-gateway/) **基 URL:** `https://your-ai-gateway.ngrok.app/v1` #### 标签 - AI Gateway, API Gateway, LLM, OpenAI Compatible, Routing, Security #### 属性 - [文档](https://ngrok.com/docs/ai-gateway/) - [入门指南](https://ngrok.com/docs/ai-gateway/quickstart/) - [API 参考](https://ngrok.com/docs/ai-gateway/) ## 公共属性 - [网站](https://ngrok.com/ai-gateway) - [文档](https://ngrok.com/docs/ai-gateway/) - [入门指南](https://ngrok.com/docs/ai-gateway/quickstart/) - [博客](https://ngrok.com/blog) - [定价](https://ngrok.com/pricing) - [支持](https://ngrok.com/support) - [状态页面](https://status.ngrok.com) - [GitHub 组织](https://github.com/ngrok) ## 功能特性 | 名称 | 描述 | |---|---| | Multi-Provider Routing | 通过单个网关端点将请求直接路由到 AI 提供商，包括 OpenAI、Anthropic、Google 和 DeepSeek。 | | Automatic Failover | 如果某个提供商或模型发生故障，网关会自动尝试下一个已配置的模型。 | | OpenAI SDK Compatibility | 只需更改基 URL 即可与官方和第三方 OpenAI SDK 配合使用。 | | Self-Hosted Model Support | 将请求路由到本地系统（如 Ollama 或 vLLM），同时支持托管提供商。 | | Automatic Model Selection | 使用 ngrok/auto 根据配置策略智能选择模型。 | | CEL-Based Selection Strategies | 使用通用表达式语言（CEL）表达式定义自定义路由逻辑。 | | Cost-Based Routing | 将流量引导到满足需求的最便宜的可用模型选项。 | | Access Control | 根据 API 密钥、身份或策略限制客户端可使用的提供商和模型。 | | PII Redaction | 审查和修改内容，从提示和响应中移除个人身份信息。 | | Response Sanitization | 在响应到达客户端之前对其进行修改和过滤。 | | No Provider Account Required | 无需单独注册提供商账户，使用 ngrok 积分即可访问 OpenAI 和 Anthropic 模型。 | ## 使用场景 | 名称 | 描述 | |---|---| | Centralized AI API Management | 通过单一网关管理所有 AI 提供商流量，实现统一的可观测性和策略执行。 | | Cost Optimization | 将流量路由到满足质量要求的最具成本效益的模型。 | | Compliance and Data Protection | 在请求离开组织之前强制实施 PII 脱敏和提示检查策略。 | | Multi-Provider Resilience | 自动跨提供商故障转移，以维持 AI 服务可用性。 | | Local and Hybrid Model Routing | 在托管提供商和自托管模型（如 Ollama 或 vLLM）之间进行路由。 | ## 集成 | 名称 | 描述 | |---|---| | OpenAI | 原生 OpenAI 兼容接口，并将请求路由到 OpenAI 模型。 | | Anthropic | 通过网关路由和访问 Anthropic Claude 模型。 | | Google | 路由到 Google AI 模型。 | | DeepSeek | 路由到 DeepSeek 模型。 | | Ollama | 路由到自托管的 Ollama 实例。 | | vLLM | 路由到自托管的 vLLM 推理服务器。 | ## 维护者 **FN:** Kin Lane **Email:** kin@apievangelist.com

标签：AI网关, API网关, API集成, DLL 劫持, Linux系统监控, LLM评估, Ollama, OpenAI兼容, PII脱敏, Streamlit, vLLM, 人工智能, 可观测性, 多提供商路由, 大语言模型, 安全, 提示检查, 日志审计, 模型安全, 流量管理, 用户模式Hook绕过, 缓存, 网关, 自动故障转移, 自托管模型, 访问控制, 超时处理