alibaba/higress
GitHub: alibaba/higress
阿里开源的云原生 AI 网关，基于 Istio/Envoy 构建，支持 LLM API 统一管理、MCP Server 托管和微服务治理。
Stars: 7604 | Forks: 999
AI Gateway
AI Native API Gateway
[](https://github.com/alibaba/higress/actions)
[](https://www.apache.org/licenses/LICENSE-2.0.html)
[](https://discord.gg/tSbww9VDaM)
[**官方网站**](https://higress.ai/en/) |
[**文档**](https://higress.cn/en/docs/latest/overview/what-is-higress/) |
[**博客**](https://higress.cn/en/blog/) |
[**MCP Server 快速入门**](https://higress.cn/en/ai/mcp-quick-start/) |
[**开发者指南**](https://higress.cn/en/docs/latest/dev/architecture/) |
[**Wasm 插件中心**](https://higress.cn/en/plugin/) |
## 什么是 Higress？
Higress 是一个基于 Istio 和 Envoy 的云原生 API 网关，可以通过 Go/Rust/JS 编写的 Wasm 插件进行扩展。它提供了数十种开箱即用的通用插件以及一个开箱即用的控制台（在此试用 [demo](http://demo.higress.io/)）。
### 核心使用场景
Higress 的 AI 网关能力支持国内外所有[主流模型提供商](https://github.com/alibaba/higress/tree/main/plugins/wasm-go/extensions/ai-proxy/provider)。它还通过其插件机制支持托管 MCP (Model Context Protocol) Server，使 AI Agent 能够轻松调用各种工具和服务。通过 [openapi-to-mcp 工具](https://github.com/higress-group/openapi-to-mcpserver)，您可以快速将 OpenAPI 规范转换为远程 MCP server 进行托管。Higress 为 LLM API 和 MCP API 提供统一管理。
**🌟 立即访问 [https://mcp.higress.ai/](https://mcp.higress.ai/)** 亲身体验 Higress 托管的远程 MCP Server：
### 企业采用
Higress 诞生于阿里巴巴内部，旨在解决 Tengine reload 影响长连接服务以及 gRPC/Dubbo 负载均衡能力不足的问题。在阿里云内部，Higress 的 AI 网关能力支持通义千问模型工作室、机器学习 PAI 平台等核心 AI 应用及其他关键 AI 服务。阿里云基于 Higress 构建了其云原生 API 网关产品，为广大企业客户提供 99.99% 的网关高可用保障服务能力。
您可以点击下方按钮安装企业版 Higress：
[](https://www.aliyun.com/product/api-gateway?spm=higress-github.topbar.0.0.0)
如果您使用开源 Higress 并希望获得企业级支持，可以联系项目维护者 johnlanni 的邮箱：**zty98751@alibaba-inc.com** 或社交媒体账号（微信号：**nomadao**，钉钉 ID：**chengtanzty**）。添加好友时请注明 **Higress** :)
## 目录
- [**快速开始**](#quick-start)
- [**功能展示**](#feature-showcase)
- [**使用场景**](#use-cases)
- [**核心优势**](#core-advantages)
- [**社区**](#community)
## 快速开始
Higress 可以仅通过 Docker 启动，方便个人开发者在本地搭建用于学习或构建简单的站点：
```
# 创建一个工作目录
mkdir higress; cd higress
# 启动 higress，配置文件将被写入工作目录
docker run -d --rm --name higress-ai -v ${PWD}:/data \
-p 8001:8001 -p 8080:8080 -p 8443:8443 \
higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest
```
端口说明：
- 端口 8001：Higress UI 控制台入口
- 端口 8080：网关 HTTP 协议入口
- 端口 8443：网关 HTTPS 协议入口
关于其他安装方式，例如 K8s 下的 Helm 部署，请参考官方[快速开始文档](https://higress.io/en-us/docs/user/quickstart)。
如果您在云端部署，建议使用[企业版](https://www.aliyun.com/product/apigateway?spm=higress-github.topbar.0.0.0)
## 使用场景
- **MCP Server 托管**：
Higress 通过其插件机制托管 MCP Server，使 AI Agent 能够轻松调用各种工具和服务。通过 [openapi-to-mcp 工具](https://github.com/higress-group/openapi-to-mcpserver)，您可以快速将 OpenAPI 规范转换为远程 MCP server。
使用 Higress 托管 MCP Server 的主要优势：
- 统一的身份验证和授权机制
- 细粒度的限流以防止滥用
- 针对所有工具调用的全面审计日志
- 丰富的可观测性以监控性能
- 通过 Higress 的插件机制简化部署
- 动态更新且无中断或连接断开
[了解更多...](https://higress.cn/en/ai/mcp-quick-start/?spm=36971b57.7beea2de.0.0.d85f20a94jsWGm)
- **AI 网关**：
Higress 使用统一协议连接所有 LLM 模型提供商，具备 AI 可观测性、多模型负载均衡、token 限流和缓存能力：
- **Kubernetes Ingress Controller**：
Higress 可以作为功能丰富的 Ingress Controller，兼容 K8s nginx ingress controller 的许多注解。
已经支持 [Gateway API](https://gateway-api.sigs.k8s.io/)，并支持从 Ingress API 到 Gateway API 的平滑迁移。
与 ingress-nginx 相比，资源开销显著降低，路由变更生效速度提高了十倍。
- **微服务网关**：
Higress 可以作为微服务网关，能够从各种服务注册中心（如 Nacos、ZooKeeper、Consul、Eureka 等）发现微服务。
它与 [Dubbo](https://github.com/apache/dubbo)、[Nacos](https://github.com/alibaba/nacos)、[Sentinel](https://github.com/alibaba/Sentinel) 等微服务技术栈深度融合。
- **安全网关**：
Higress 可作为安全网关，支持 WAF 和各种认证策略，例如 key-auth、hmac-auth、jwt-auth、basic-auth、oidc 等。
## 核心优势
- **生产级**
源自阿里巴巴内部产品，经过 2 年多的生产验证，支持每秒数十万请求的大规模场景。
彻底消除因 Nginx reload 造成的流量抖动，配置变更毫秒级生效，对业务透明。对 AI 业务等长连接场景尤为友好。
- **流式处理**
支持真正的请求/响应体完整流式处理，Wasm 插件可以轻松定制 SSE (Server-Sent Events) 等流式协议的处理。
在 AI 业务等高带宽场景下，可显著降低内存开销。
- **易于扩展**
提供丰富的官方插件库，涵盖 AI、流量管理、安全防护等常用功能，满足 90% 以上的业务场景需求。
专注于 Wasm 插件扩展，通过沙箱隔离确保内存安全，支持多种编程语言，允许插件版本独立升级，实现网关逻辑的流量无损热更新。
- **安全易用**
基于 Ingress API 和 Gateway API 标准，提供开箱即用的 UI 控制台，WAF 防护插件、IP/Cookie CC 防护插件即刻可用。
支持连接 Let's Encrypt 自动签发和续期免费证书，可在 K8s 之外部署，通过一条 Docker 命令启动，方便个人开发者使用。
### 相关仓库
- Higress Console: https://github.com/higress-group/higress-console
- Higress Standalone: https://github.com/higress-group/higress-standalone
- Higress Plugin Server：https://github.com/higress-group/plugin-server
- Higress Wasm Plugin Golang SDK：https://github.com/higress-group/wasm-go
### 贡献者
标签：Agent 工具网关, AIGC 基础设施, AI Native, AI 网关, API 管理, API 网关, CISA项目, Envoy, EVTX分析, EVTX分析, Higress, Ingress, Istio, LLM, MCP Server, Model Context Protocol, Unmanaged PE, Wasm, 可视化界面, 大模型, 子域名突变, 安全网关, 插件化, 数据可视化, 日志审计, 流量管理, 系统triage, 请求拦截, 负载均衡, 阿里云