google-ai-edge/LiteRT
GitHub: google-ai-edge/LiteRT
Google推出的端侧AI运行时框架，是TensorFlow Lite的继任者，专注于在移动和边缘设备上高效部署ML与生成式AI模型。
Stars: 1755 | Forks: 221
# LiteRT
[](https://github.com/google-ai-edge/LiteRT/actions/workflows/macos_nightly_wheel.yml)
[](https://github.com/google-ai-edge/LiteRT/actions/workflows/windows_nightly_wheel.yml) | [](https://github.com/google-ai-edge/LiteRT/actions/workflows/macos-arm64.yml)
[](https://github.com/google-ai-edge/LiteRT/actions/workflows/linux_x86_64.yml)
[](https://github.com/google-ai-edge/LiteRT/actions/workflows/windows_x86_64.yml) | [](https://github.com/google-ai-edge/LiteRT/actions/workflows/cmake_android_linux_x86_64.yml) | ## 描述 LiteRT 延续了 TensorFlow Lite 的使命，成为值得信赖的高性能端侧 AI 运行时。 LiteRT 具备先进的 GPU/NPU 加速功能，提供卓越的 ML 和 GenAI 性能，让端侧 ML 推理变得前所未有的简单。 ### 🌟 新特性 - **🆕 全新 LiteRT Compiled Model API**：通过自动加速器选择、真正的异步执行和高效的 I/O 缓冲区处理，简化开发流程。 - 自动加速器选择 vs 显式创建委托 (delegate) - 异步执行以加快整体执行时间 - 轻松实现 NPU 运行时和模型分发 - 高效的 I/O 缓冲区处理 - **🤖 统一 NPU 加速**：为来自主要芯片组供应商的 NPU 提供无缝访问，带来一致的开发者体验。此前处于早期访问阶段的 LiteRT NPU 现已向所有用户开放：https://ai.google.dev/edge/litert/next/npu - **⚡ 顶级的 GPU 性能**：利用最先进的 GPU 加速进行端侧 ML。新的缓冲区互操作性支持零拷贝，并最大限度地减少了各种 GPU 缓冲区类型之间的延迟。 - **🧠 卓越的生成式 AI 推理**：为 GenAI 模型提供最简单的集成方式和最佳的性能。 ## 💻 支持的平台 LiteRT 专为跨平台部署而设计，支持广泛的硬件。 | 平台 | CPU 支持 | GPU 支持 | NPU 支持 | | ---------- | ----------- | --------------------- | ----------------------------------------------------------------- | | 🤖 Android | ✅ | ✅OpenCL
✅OpenGL | Google Tensor\*
✅ Qualcomm
✅ MediaTek
S.LSI\*
Intel\* | | 🍎 iOS | ✅ | ✅ Metal | ANE\* | | 🐧 Linux | ✅ | ✅ WebGPU | N/A | | 🍎 macOS | ✅ | ✅ WebGPU
✅ Metal | ANE\* | | 💻 Windows | ✅ | ✅ WebGPU | Intel\* | | 🌐 Web | ✅ | ✅ WebGPU | 即将推出 | | 🧩 IoT | ✅ | ✅ WebGPU | Broadcom\*
Raspberry Pi\* | *\*即将推出* ## 模型覆盖范围和性能 即将推出... ## 🏁 安装 有关使用 LiteRT 设置应用程序的综合指南，请参阅[入门指南](https://ai.google.dev/edge/litert)。 您可以从源代码构建 LiteRT： 1. 启动 docker 守护进程。 2. 运行 `build_with_docker.sh` 脚本，该脚本位于 `docker_build/` 目录下 该脚本会自动创建一个 Linux Docker 镜像，允许您构建 Linux 和 Android 的构建产物（通过交叉编译）。有关如何使用 docker 容器构建运行时库的更多信息，请参阅 [CMake 构建说明](./g3doc/instructions/CMAKE_BUILD_INSTRUCTIONS.md) 和 [Bazel 构建说明](./g3doc/instructions/BUILD_INSTRUCTIONS.md)。 有关使用 docker 交互式 shell 或构建不同目标的更多信息，请参考 `docker_build/README.md`。 ## 🗺 选择您的路线 每位开发者的路径都不尽相同。以下是一些常见的路线，旨在帮助您根据目标选择入门方式： ### 1. 🔄 我有一个 PyTorch 模型... - **目标**：将 PyTorch 模型转换为在 LiteRT 上运行。 - **路径 1 (经典模型)**：使用 [LiteRT Torch Converter](https://github.com/google-ai-edge/litert-torch) 将您的 PyTorch 模型转换为 `.tflite` 格式，并使用 AI Edge Quantizer 在资源受限的情况下优化模型以获得最佳性能。然后，您可以使用标准的 LiteRT 运行时进行部署。 - **路径 2 (LLMs)**：使用 [LiteRT Generative Torch API](https://github.com/google-ai-edge/litert-torch/tree/main/litert_torch/generative) 重写您的 PyTorch LLM 并将其转换为 Apache 格式，然后使用 [LiteRT LM](https://github.com/google-ai-edge/litert-lm) 进行部署。 ### 2. 🌱 我是端侧 ML 新手... - **目标**：首次在移动应用中运行预训练模型（如图像分割）。 - **路径 1 (初级开发者)**：通过 Android Studio 按照分步说明创建一个用于 CPU/GPU/NPU 推理的[实时分割应用](https://developers.google.com/codelabs/litert-image-segmentation-android#0)。源代码[链接](https://github.com/google-ai-edge/litert-samples/tree/main/compiled_model_api/image_segmentation)。 - **路径 2 (经验丰富的开发者)**：从[入门指南](https://ai.google.dev/edge/litert/next/get_started)开始，在 [Kaggle Models](https://www.kaggle.com/models?framework=tfLite&size=small) 上找到预训练的 .tflite 模型，并使用标准的 LiteRT 运行时将其集成到您的 Android 或 iOS 应用中。 ### 3. ⚡ 我需要最大化性能... - **目标**：加速现有模型，使其在设备上运行得更快、更高效。 - **路径**： - 探索 [LiteRT API](https://ai.google.dev/edge/api/litert/c) 以轻松利用硬件加速。 - **对于生成式 AI**：深入了解 [LiteRT LM](https://github.com/google-ai-edge/LiteRT-LM)，这是我们运行 GenAI 模型的专用解决方案。 ### 4. 🧠 我正在开发生成式 AI... - **目标**：在移动设备上部署大型语言模型 (LLM) 或扩散模型。 - **路径**：深入了解 [LiteRT LM](https://github.com/google-ai-edge/LiteRT-LM)，这是我们运行 GenAI 模型的专用解决方案。您将重点关注模型量化以及针对大型模型架构的特定优化。 ## 🗺 路线图 我们致力于使 LiteRT 成为任何端侧 ML 部署的最佳运行时。我们的产品策略包括： - **扩展硬件加速**：扩大我们对 NPU 的支持，并提高所有主要硬件加速器的性能。 - **生成式 AI 优化**：引入专门针对下一波端侧生成式 AI 模型推出的新优化和功能。 - **改进开发者工具**：构建更好的工具用于调试、性能分析和模型优化。 - **平台支持**：增强对核心平台的支持，并探索新的平台。 ## 🙌 贡献 我们欢迎对 LiteRT 的贡献。请参阅 [CONTRIBUTING.md](CONTRIBUTING.md) 文件以获取更多关于如何贡献的信息。 ## 💬 获取帮助 如果您需要帮助，我们鼓励您联系我们。 - **GitHub Issues**：对于错误报告和功能请求，请在我们 [GitHub Issues](https://github.com/google-ai-edge/LiteRT/issues) 页面上提交新 issue。 - **GitHub Discussions**：如有疑问、一般性讨论和社区支持，请访问我们的 [GitHub Discussions](https://github.com/google-ai-edge/LiteRT/discussions)。 ## 🔗 相关产品 LiteRT 是端侧机器学习大型生态系统工具的一部分。看看 Google 的这些其他项目： - **[LiteRT Samples](https://github.com/google-ai-edge/litert-samples/tree/main)**：LiteRT 示例应用集合。 - **[LiteRT Torch Converter](https://github.com/google-ai-edge/litert-torch)**：LiteRT 中的工具，用于将 PyTorch 模型转换为 LiteRT (.tflite) 格式以进行端侧部署。 - **[LiteRT Generative Torch API](https://github.com/google-ai-edge/litert-torch/tree/main/litert_torch/generative)**：LiteRT 中的一个库，用于重写 LLM 以实现高效转换和端侧推理。 - **[LiteRT-LM](https://github.com/google-ai-edge/litert-lm)**：一个基于 LiteRT 构建的库，用于在边缘平台上高效运行大型语言模型 (LLM)。 - **[XNNPACK](https://github.com/google/XNNPACK)**：一个高度优化的神经网络推理算子库，针对 ARM、x86 和 WebAssembly 架构，为 LiteRT 提供高性能 CPU 加速。 - **[MediaPipe](https://github.com/google-ai-edge/mediapipe)**：一个框架，用于为实时和流媒体构建跨平台、可定制的 ML 解决方案。 ## ❤️ 行为准则 本项目致力于营造一个开放和友好的环境。请阅读我们的[行为准则](CODE_OF_CONDUCT.md)，以了解我们对社区所有参与者的行为期望。 ## 📜 许可证 LiteRT 根据 [Apache-2.0 许可证](LICENSE) 授权。
[](https://github.com/google-ai-edge/LiteRT/actions/workflows/macos_nightly_wheel.yml)
[](https://github.com/google-ai-edge/LiteRT/actions/workflows/windows_nightly_wheel.yml) | [](https://github.com/google-ai-edge/LiteRT/actions/workflows/macos-arm64.yml)
[](https://github.com/google-ai-edge/LiteRT/actions/workflows/linux_x86_64.yml)
[](https://github.com/google-ai-edge/LiteRT/actions/workflows/windows_x86_64.yml) | [](https://github.com/google-ai-edge/LiteRT/actions/workflows/cmake_android_linux_x86_64.yml) | ## 描述 LiteRT 延续了 TensorFlow Lite 的使命，成为值得信赖的高性能端侧 AI 运行时。 LiteRT 具备先进的 GPU/NPU 加速功能，提供卓越的 ML 和 GenAI 性能，让端侧 ML 推理变得前所未有的简单。 ### 🌟 新特性 - **🆕 全新 LiteRT Compiled Model API**：通过自动加速器选择、真正的异步执行和高效的 I/O 缓冲区处理，简化开发流程。 - 自动加速器选择 vs 显式创建委托 (delegate) - 异步执行以加快整体执行时间 - 轻松实现 NPU 运行时和模型分发 - 高效的 I/O 缓冲区处理 - **🤖 统一 NPU 加速**：为来自主要芯片组供应商的 NPU 提供无缝访问，带来一致的开发者体验。此前处于早期访问阶段的 LiteRT NPU 现已向所有用户开放：https://ai.google.dev/edge/litert/next/npu - **⚡ 顶级的 GPU 性能**：利用最先进的 GPU 加速进行端侧 ML。新的缓冲区互操作性支持零拷贝，并最大限度地减少了各种 GPU 缓冲区类型之间的延迟。 - **🧠 卓越的生成式 AI 推理**：为 GenAI 模型提供最简单的集成方式和最佳的性能。 ## 💻 支持的平台 LiteRT 专为跨平台部署而设计，支持广泛的硬件。 | 平台 | CPU 支持 | GPU 支持 | NPU 支持 | | ---------- | ----------- | --------------------- | ----------------------------------------------------------------- | | 🤖 Android | ✅ | ✅OpenCL
✅OpenGL | Google Tensor\*
✅ Qualcomm
✅ MediaTek
S.LSI\*
Intel\* | | 🍎 iOS | ✅ | ✅ Metal | ANE\* | | 🐧 Linux | ✅ | ✅ WebGPU | N/A | | 🍎 macOS | ✅ | ✅ WebGPU
✅ Metal | ANE\* | | 💻 Windows | ✅ | ✅ WebGPU | Intel\* | | 🌐 Web | ✅ | ✅ WebGPU | 即将推出 | | 🧩 IoT | ✅ | ✅ WebGPU | Broadcom\*
Raspberry Pi\* | *\*即将推出* ## 模型覆盖范围和性能 即将推出... ## 🏁 安装 有关使用 LiteRT 设置应用程序的综合指南，请参阅[入门指南](https://ai.google.dev/edge/litert)。 您可以从源代码构建 LiteRT： 1. 启动 docker 守护进程。 2. 运行 `build_with_docker.sh` 脚本，该脚本位于 `docker_build/` 目录下 该脚本会自动创建一个 Linux Docker 镜像，允许您构建 Linux 和 Android 的构建产物（通过交叉编译）。有关如何使用 docker 容器构建运行时库的更多信息，请参阅 [CMake 构建说明](./g3doc/instructions/CMAKE_BUILD_INSTRUCTIONS.md) 和 [Bazel 构建说明](./g3doc/instructions/BUILD_INSTRUCTIONS.md)。 有关使用 docker 交互式 shell 或构建不同目标的更多信息，请参考 `docker_build/README.md`。 ## 🗺 选择您的路线 每位开发者的路径都不尽相同。以下是一些常见的路线，旨在帮助您根据目标选择入门方式： ### 1. 🔄 我有一个 PyTorch 模型... - **目标**：将 PyTorch 模型转换为在 LiteRT 上运行。 - **路径 1 (经典模型)**：使用 [LiteRT Torch Converter](https://github.com/google-ai-edge/litert-torch) 将您的 PyTorch 模型转换为 `.tflite` 格式，并使用 AI Edge Quantizer 在资源受限的情况下优化模型以获得最佳性能。然后，您可以使用标准的 LiteRT 运行时进行部署。 - **路径 2 (LLMs)**：使用 [LiteRT Generative Torch API](https://github.com/google-ai-edge/litert-torch/tree/main/litert_torch/generative) 重写您的 PyTorch LLM 并将其转换为 Apache 格式，然后使用 [LiteRT LM](https://github.com/google-ai-edge/litert-lm) 进行部署。 ### 2. 🌱 我是端侧 ML 新手... - **目标**：首次在移动应用中运行预训练模型（如图像分割）。 - **路径 1 (初级开发者)**：通过 Android Studio 按照分步说明创建一个用于 CPU/GPU/NPU 推理的[实时分割应用](https://developers.google.com/codelabs/litert-image-segmentation-android#0)。源代码[链接](https://github.com/google-ai-edge/litert-samples/tree/main/compiled_model_api/image_segmentation)。 - **路径 2 (经验丰富的开发者)**：从[入门指南](https://ai.google.dev/edge/litert/next/get_started)开始，在 [Kaggle Models](https://www.kaggle.com/models?framework=tfLite&size=small) 上找到预训练的 .tflite 模型，并使用标准的 LiteRT 运行时将其集成到您的 Android 或 iOS 应用中。 ### 3. ⚡ 我需要最大化性能... - **目标**：加速现有模型，使其在设备上运行得更快、更高效。 - **路径**： - 探索 [LiteRT API](https://ai.google.dev/edge/api/litert/c) 以轻松利用硬件加速。 - **对于生成式 AI**：深入了解 [LiteRT LM](https://github.com/google-ai-edge/LiteRT-LM)，这是我们运行 GenAI 模型的专用解决方案。 ### 4. 🧠 我正在开发生成式 AI... - **目标**：在移动设备上部署大型语言模型 (LLM) 或扩散模型。 - **路径**：深入了解 [LiteRT LM](https://github.com/google-ai-edge/LiteRT-LM)，这是我们运行 GenAI 模型的专用解决方案。您将重点关注模型量化以及针对大型模型架构的特定优化。 ## 🗺 路线图 我们致力于使 LiteRT 成为任何端侧 ML 部署的最佳运行时。我们的产品策略包括： - **扩展硬件加速**：扩大我们对 NPU 的支持，并提高所有主要硬件加速器的性能。 - **生成式 AI 优化**：引入专门针对下一波端侧生成式 AI 模型推出的新优化和功能。 - **改进开发者工具**：构建更好的工具用于调试、性能分析和模型优化。 - **平台支持**：增强对核心平台的支持，并探索新的平台。 ## 🙌 贡献 我们欢迎对 LiteRT 的贡献。请参阅 [CONTRIBUTING.md](CONTRIBUTING.md) 文件以获取更多关于如何贡献的信息。 ## 💬 获取帮助 如果您需要帮助，我们鼓励您联系我们。 - **GitHub Issues**：对于错误报告和功能请求，请在我们 [GitHub Issues](https://github.com/google-ai-edge/LiteRT/issues) 页面上提交新 issue。 - **GitHub Discussions**：如有疑问、一般性讨论和社区支持，请访问我们的 [GitHub Discussions](https://github.com/google-ai-edge/LiteRT/discussions)。 ## 🔗 相关产品 LiteRT 是端侧机器学习大型生态系统工具的一部分。看看 Google 的这些其他项目： - **[LiteRT Samples](https://github.com/google-ai-edge/litert-samples/tree/main)**：LiteRT 示例应用集合。 - **[LiteRT Torch Converter](https://github.com/google-ai-edge/litert-torch)**：LiteRT 中的工具，用于将 PyTorch 模型转换为 LiteRT (.tflite) 格式以进行端侧部署。 - **[LiteRT Generative Torch API](https://github.com/google-ai-edge/litert-torch/tree/main/litert_torch/generative)**：LiteRT 中的一个库，用于重写 LLM 以实现高效转换和端侧推理。 - **[LiteRT-LM](https://github.com/google-ai-edge/litert-lm)**：一个基于 LiteRT 构建的库，用于在边缘平台上高效运行大型语言模型 (LLM)。 - **[XNNPACK](https://github.com/google/XNNPACK)**：一个高度优化的神经网络推理算子库，针对 ARM、x86 和 WebAssembly 架构，为 LiteRT 提供高性能 CPU 加速。 - **[MediaPipe](https://github.com/google-ai-edge/mediapipe)**：一个框架，用于为实时和流媒体构建跨平台、可定制的 ML 解决方案。 ## ❤️ 行为准则 本项目致力于营造一个开放和友好的环境。请阅读我们的[行为准则](CODE_OF_CONDUCT.md)，以了解我们对社区所有参与者的行为期望。 ## 📜 许可证 LiteRT 根据 [Apache-2.0 许可证](LICENSE) 授权。
标签：Apex, Bash脚本, GenAI, Google, LiteRT, Nuclei, TensorFlow Lite, Veh, 云安全, 人工智能, 凭据扫描, 嵌入式系统, 机器学习, 模型优化, 模型推理, 模型转换, 模型部署, 深度学习, 生成式AI, 用户模式Hook绕过, 移动开发, 端侧AI, 端侧推理, 索引, 轻量级框架, 边缘计算, 运行时环境, 逆向工具, 高性能计算