envoyproxy/ai-gateway

# Envoy AI 网关 Envoy AI 网关是一个开源项目，旨在使用 [Envoy 网关](https://github.com/envoyproxy/gateway) 处理从应用程序客户端到生成式 AI 服务的请求流量。 ## 用法 在使用 Envoy AI 网关时，我们采用两层网关模式。**第一层网关**作为集中式入口点，**第二层网关**处理通往自托管模型服务集群的入口流量。 - **第一层网关**处理身份验证、顶级路由和全局速率限制。 - **第二层网关**提供对自托管模型访问的细粒度控制，并支持端点选择器以优化 LLM 推理。  ## 支持的 AI 提供商 Envoy AI 网关支持广泛的 AI 提供商，使其易于与首选的 LLM 服务集成： ## 文档 - [博客](https://aigateway.envoyproxy.io/blog/introducing-envoy-ai-gateway) 介绍 Envoy AI 网关。 - [文档](https://aigateway.envoyproxy.io/docs) 关于 Envoy AI 网关。 - [快速入门](https://aigateway.envoyproxy.io/docs/getting-started/) 可在几步之内使用 Envoy AI 网关。 - [概念](https://aigateway.envoyproxy.io/docs/concepts/) 用于理解 Envoy AI 网关的架构和资源。 - [演讲和演示](https://aigateway.envoyproxy.io/talks) 关于 Envoy AI 网关。 ## 联系 ## 背景 使用 [Cloud Native LLM Gateway][Cloud Native LLM Gateway] 作为 Envoy 网关的提议激发了该项目的启动。

标签：AI网关, API网关, Envoy Gateway, EVTX分析, Kubernetes网关, LLM服务, MacOS取证, Python工具, 云原生架构, 云端原生, 全局限流, 分层网关, 可视化界面, 子域名突变, 开源网关, 推理优化, 日志审计, 服务网格, 流量控制, 流量路由, 生成式AI, 端点选择, 索引, 统一访问管理, 认证鉴权, 边缘网关