higress-group/higress
GitHub: higress-group/higress
基于 Istio 和 Envoy 的云原生 AI 网关，提供多模型统一接入、MCP Server 托管、微服务发现和安全防护能力，解决 AI 业务和微服务架构下的流量治理痛点。
Stars: 8248 | Forks: 1087
AI Gateway
AI Native API Gateway
[](https://github.com/alibaba/higress/actions)
[](https://www.apache.org/licenses/LICENSE-2.0.html)
[](https://discord.gg/tSbww9VDaM)
[**官方网站**](https://higress.ai/en/) |
[**文档**](https://higress.cn/en/docs/latest/overview/what-is-higress/) |
[**博客**](https://higress.cn/en/blog/) |
[**MCP Server 快速入门**](https://higress.cn/en/ai/mcp-quick-start/) |
[**开发者指南**](https://higress.cn/en/docs/latest/dev/architecture/) |
[**Wasm 插件市场**](https://higress.cn/en/plugin/) |
## 什么是 Higress？
Higress 是一个基于 Istio 和 Envoy 的云原生 API 网关，可以通过使用 Go/Rust/JS 编写的 Wasm 插件进行扩展。它提供了数十个开箱即用的通用插件以及一个开箱即用的控制台（在[此处体验 demo](http://demo.higress.io/))。
### 核心用例
Higress 的 AI 网关能力支持国内外所有[主流模型提供商](https://github.com/alibaba/higress/tree/main/plugins/wasm-go/extensions/ai-proxy/provider)。它还支持通过其插件机制托管 MCP (Model Context Protocol) Server，使 AI Agent 能够轻松调用各种工具和服务。借助 [openapi-to-mcp 工具](https://github.com/higress-group/openapi-to-mcpserver)，您可以快速将 OpenAPI 规范转换为远程 MCP Server 进行托管。Higress 为 LLM API 和 MCP API 提供了统一的管理。
**🌟 立即访问 [https://mcp.higress.ai/](https://mcp.higress.ai/)**，亲自体验 Higress 托管的远程 MCP Server：
### 企业采用
Higress 诞生于阿里巴巴内部，旨在解决 Tengine reload 影响长连接服务以及 gRPC/Dubbo 负载均衡能力不足的问题。在阿里云内部，Higress 的 AI 网关能力支撑着通义千问模型 Studio、机器学习 PAI 平台等核心 AI 应用及其他关键 AI 服务。阿里云基于 Higress 构建了其云原生 API 网关产品，为大量企业客户提供 99.99% 的网关高可用保障服务能力。
您可以点击下方按钮安装企业版 Higress：
[](https://www.aliyun.com/product/api-gateway?spm=higress-github.topbar.0.0.0)
## 目录
- [**快速开始**](#quick-start)
- [**功能展示**](#feature-showcase)
- [**使用场景**](#use-cases)
- [**核心优势**](#core-advantages)
- [**社区**](#community)
## 快速开始
Higress 可以仅通过 Docker 启动，方便个人开发者在本地进行环境搭建，用于学习或构建简单站点：
```
# 创建一个工作目录
mkdir higress; cd higress
# 启动 higress，配置文件将被写入到工作目录
docker run -d --rm --name higress-ai -v ${PWD}:/data \
-p 8001:8001 -p 8080:8080 -p 8443:8443 \
higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest
```
端口说明：
- 8001 端口：Higress UI 控制台入口
- 8080 端口：网关 HTTP 协议入口
- 8443 端口：网关 HTTPS 协议入口
关于其他安装方式，例如在 K8s 下通过 Helm 部署，请参阅官方的[快速开始文档](https://higress.ai/en/docs/latest/user/quickstart/)。
如果您要在云端进行部署，推荐使用[企业版](https://www.aliyun.com/product/apigateway?spm=higress-github.topbar.0.0.0)
## 使用场景
- **MCP Server 托管**：
Higress 通过其插件机制托管 MCP Server，使 AI Agent 能够轻松调用各种工具和服务。借助 [openapi-to-mcp 工具](https://github.com/higress-group/openapi-to-mcpserver)，您可以快速将 OpenAPI 规范转换为远程 MCP Server。
使用 Higress 托管 MCP Server 的主要优势：
- 统一的认证和授权机制
- 细粒度的限流以防止滥用
- 对所有工具调用的全面审计日志
- 丰富的可观测性以监控性能
- 通过 Higress 的插件机制简化部署
- 动态更新，不会中断服务或断开连接
[了解更多...](https://higress.cn/en/ai/mcp-quick-start/?spm=36971b57.7beea2de.0.0.d85f20a94jsWGm)
- **AI 网关**：
Higress 使用统一协议连接所有 LLM 模型提供商，具备 AI 可观测性、多模型负载均衡、token 限流和缓存能力：
- **Kubernetes Ingress 控制器**：
Higress 可作为一个功能丰富的 Ingress 控制器，兼容 K8s nginx ingress controller 的许多注解。
现已支持 [Gateway API](https://gateway-api.sigs.k8s.io/)，并支持从 Ingress API 到 Gateway API 的平滑迁移。
与 ingress-nginx 相比，资源开销显著下降，路由变更生效速度提升了十倍。
- **微服务网关**：
Higress 可作为微服务网关，能够从各种服务注册中心（如 Nacos、ZooKeeper、Consul、Eureka 等）发现微服务。
它与 [Dubbo](https://github.com/apache/dubbo)、[Nacos](https://github.com/alibaba/nacos)、[Sentinel](https://github.com/alibaba/Sentinel) 等微服务技术栈进行了深度集成。
- **安全网关**：
Higress 可作为安全网关使用，支持 WAF 及各种认证策略，例如 key-auth、hmac-auth、jwt-auth、basic-auth、oidc 等。
## 核心优势
- **生产级别**
源于阿里巴巴内部产品，经过 2 年多的生产验证，支持每秒数十万请求的大规模场景。
彻底消除了因 Nginx reload 引发的流量抖动，配置变更毫秒级生效且对业务透明。对于 AI 业务等长连接场景尤为友好。
- **流式处理**
支持对请求/响应体进行真正的完全流式处理，Wasm 插件可以轻松定制处理 SSE (Server-Sent Events) 等流式协议。
在 AI 业务等高带宽场景下，能显著降低内存开销。
- **易于扩展**
提供丰富的官方插件库，涵盖 AI、流量管理、安全防护等常见功能，可满足 90% 以上的业务场景需求。
专注于 Wasm 插件扩展，通过沙箱隔离确保内存安全，支持多种编程语言，允许插件版本独立升级，实现网关逻辑的流量无损热更新。
- **安全易用**
基于 Ingress API 和 Gateway API 标准，提供开箱即用的 UI 控制台，WAF 防护插件、IP/Cookie CC 防护插件即可使用。
支持对接 Let's Encrypt 自动签发和续期免费证书，并可在 K8s 之外部署，通过单条 Docker 命令启动，方便个人开发者使用。
### 相关仓库
- Higress Console: https://github.com/higress-group/higress-console
- Higress Standalone: https://github.com/higress-group/higress-standalone
- Higress Plugin Server：https://github.com/higress-group/plugin-server
- Higress Wasm Plugin Golang SDK：https://github.com/higress-group/wasm-go
### 贡献者
标签：AI原生, AI网关, API安全, API管理, API网关, Envoy, EVTX分析, Higress, Istio, JSON输出, LLM代理, MCP Server, Wasm插件, 反向代理, 可视化界面, 大模型网关, 威胁情报, 子域名突变, 开发者工具, 开源, 数据可视化, 日志审计, 服务网格, 流量管理, 请求拦截, 阿里巴巴