kserve/kserve

# KServe [](https://pkg.go.dev/github.com/kserve/kserve) [](https://goreportcard.com/report/github.com/kserve/kserve) [](https://bestpractices.coreinfrastructure.org/projects/6643) [](https://github.com/kserve/kserve/releases) [](https://github.com/kserve/kserve/blob/master/LICENSE) [](https://github.com/kserve/community/blob/main/README.md#questions-and-issues) [](https://gurubase.io/g/kserve) KServe 是一个标准化的分布式生成式和预测 AI 推理平台，用于在 Kubernetes 上进行可扩展的多框架部署。 KServe 正被[许多组织使用](https://kserve.github.io/website/docs/community/adopters)，并且是 [Cloud Native Computing Foundation (CNCF)](https://www.cncf.io/) 的孵化项目。 欲了解更多详情，请访问 [KServe 官网](https://kserve.github.io/website/)。  ### 为什么选择 KServe？ 统一的平台，整合了 Kubernetes 上的生成式和预测式 AI 推理。它既足够简单以实现快速部署，又足够强大，能够通过高级功能处理企业级的 AI 工作负载。 ### 功能特性 **生成式 AI** * 🧮 **优化的后端**: 支持 vLLM 和 llm-d，为 LLM 服务提供优化性能 * 📌 **标准化**: 兼容 OpenAI 的推理协议，与 LLM 无缝集成 * 🚅 **GPU 加速**: 支持 GPU 的高性能服务，并针对大模型优化内存管理 * 💾 **模型缓存**: 智能模型缓存，减少加载时间并提高常用模型的响应延迟 * 🗂️ **KV 缓存卸载**: 通过将 KV 缓存卸载到 CPU/磁盘 来处理更长序列的高级内存管理 * 📈 **自动伸缩**: 针对生成式工作负载模式优化的基于请求的自动伸缩能力 * 🔧 **即插即用 Hugging Face**: 对 Hugging Face 模型的原生支持，具有简化的部署工作流 **预测式 AI** * 🧮 **多框架支持**: 支持 TensorFlow、PyTorch、scikit-learn、XGBoost、ONNX 等 * 🔀 **智能路由**: 在 predictor、transformer 和 explainer 组件之间进行无缝请求路由，并具备自动流量管理 * 🔄 **高级部署**: 通过 InferenceGraph 实现 Canary 发布、推理流水线和集成 * ⚡ **自动伸缩**: 支持将扩容至零 的基于请求的自动伸缩 * 🔍 **模型可解释性**: 内置对模型解释和特征归因 的支持，以了解预测依据 * 📊 **高级监控**: 支持 payload 日志记录、异常检测、对抗检测 和漂移检测 * 💰 **成本高效**: 不使用时对昂贵资源进行扩容至零，降低基础设施成本 ### 了解更多 要了解有关 KServe 的更多信息、如何使用各种支持的功能以及如何参与 KServe 社区， 请遵循 [KServe 网站文档](https://kserve.github.io/website)。 此外，我们编制了一份 [演示和示例](https://kserve.github.io/website/docs/community/presentations) 列表，以深入了解各种细节。 ### :hammer_and_wrench: 安装 #### 独立安装 - **[标准 Kubernetes 安装](https://kserve.github.io/website/docs/admin-guide/overview#raw-kubernetes-deployment)**: 与 Serverless 安装相比，这是一种更**轻量级**的安装方式。但是，此选项不支持 canary 部署和扩容至零的基于请求的自动伸缩。 - **[Knative 安装](https://kserve.github.io/website/docs/admin-guide/overview#serverless-deployment)**: KServe 默认安装 Knative 以实现 InferenceService 的 **serverless 部署**。 - **[ModelMesh 安装](https://kserve.github.io/website/docs/admin-guide/overview#modelmesh-deployment)**: 您可以选择安装 ModelMesh 以启用 **高规模**、**高密度** 和 **频繁更换模型** 的模型服务用例。 - **[快速安装](https://kserve.github.io/website/docs/getting-started/quickstart-guide)**: 在您的本地机器上安装 KServe。 #### Kubeflow 安装 KServe 是 Kubeflow 的重要附加组件，请从 [Kubeflow KServe 文档](https://www.kubeflow.org/docs/external-add-ons/kserve/kserve) 了解更多信息。查看以下指南以了解如何在 [AWS 上](https://awslabs.github.io/kubeflow-manifests/main/docs/component-guides/kserve) 或在 [OpenShift Container Platform 上](https://github.com/kserve/kserve/blob/master/docs/OPENSHIFT_GUIDE.md) 运行。 ### :flight_departure: [创建您的第一个 InferenceService](https://kserve.github.io/website/docs/getting-started/genai-first-isvc) ### :bulb: [路线图](./ROADMAP.md) ### :blue_book: [InferenceService API 参考](https://kserve.github.io/website/docs/reference/crd-api) ### :toolbox: [开发者指南](https://kserve.github.io/website/docs/developer-guide) ### :writing_hand: [贡献者指南](https://kserve.github.io/website/docs/developer-guide/contribution) ### :handshake: [采用者](https://kserve.github.io/website/docs/community/adopters) ### Star History [](https://www.star-history.com/#kserve/kserve&Date) ### 贡献者 感谢我们所有出色的贡献者！

标签：AI推理, Apex, CNCF, Docker, EVTX分析, Go, InferenceService, KServe, LLM, MLOps, NIDS, OpenAI协议, Python, Python工具, Ruby工具, Serverless, Unmanaged PE, vLLM, web渗透, 人工智能, 分布式, 多框架, 大模型, 子域名突变, 安全防御评估, 容器化, 无后门, 日志审计, 机器学习, 标准化, 模型服务, 模型部署, 深度学习, 特权提升, 生产环境, 生成式AI, 用户模式Hook绕过, 索引, 自动化部署, 请求拦截, 逆向工具, 预测AI