google-ai-edge/mediapipe
GitHub: google-ai-edge/mediapipe
Google 开源的跨平台端侧机器学习框架,提供实时视觉、音频和文本处理的预训练模型与部署工具。
Stars: 34024 | Forks: 5826
## layout: forward
target: https://developers.google.com/mediapipe
title: 首页
nav_order: 1
**注意:** *自 2023 年 4 月 3 日起,我们已迁移至
[https://developers.google.com/mediapipe](https://developers.google.com/mediapipe)
作为 MediaPipe 的主要开发者文档站点。*

**注意**:MediaPipe Solutions 预览版是一个早期版本。[了解更多](https://developers.google.com/mediapipe/solutions/about#notice)。
**面向所有人的端侧机器学习**
通过创新的机器学习功能让您的客户感到愉悦。MediaPipe 包含您轻松定制和部署到移动设备(Android、iOS)、Web、桌面、边缘设备和 IoT 所需的一切。
* [查看演示](https://goo.gle/mediapipe-studio)
* [了解更多](https://developers.google.com/mediapipe/solutions)
## 开始使用
您可以通过查看 [视觉](https://developers.google.com/mediapipe/solutions/vision/object_detector)、[文本](https://developers.google.com/mediapipe/solutions/text/text_classifier) 和 [音频](https://developers.google.com/mediapipe/solutions/audio/audio_classifier) 任务的开发者指南来开始使用 MediaPipe Solutions。如果您需要帮助设置用于 MediaPipe Tasks 的开发环境,请查看 [Android](https://developers.google.com/mediapipe/solutions/setup_android)、[Web 应用](https://developers.google.com/mediapipe/solutions/setup_web) 和 [Python](https://developers.google.com/mediapipe/solutions/setup_python) 的设置指南。
## 解决方案
MediaPipe Solutions 提供了一套库和工具,供您在应用程序中快速应用人工智能 (AI) 和机器学习 (ML) 技术。您可以立即将这些解决方案集成到您的应用程序中,根据您的需求进行定制,并在多个开发平台上使用它们。MediaPipe Solutions 是 MediaPipe [开源项目](https://github.com/google/mediapipe) 的一部分,因此您可以进一步定制解决方案代码以满足您的应用程序需求。
这些库和资源为每个 MediaPipe Solution 提供核心功能:
* **MediaPipe Tasks**:用于部署解决方案的跨平台 API 和库。[了解更多](https://developers.google.com/mediapipe/solutions/tasks)。
* **MediaPipe 模型**:用于每个解决方案的预训练、即用型模型。
这些工具允许您定制和评估解决方案:
* **MediaPipe Model Maker**:使用您的数据为解决方案定制模型。[了解更多](https://developers.google.com/mediapipe/solutions/model_maker)。
* **MediaPipe Studio**:在浏览器中可视化、评估和基准测试解决方案。[了解更多](https://developers.google.com/mediapipe/solutions/studio)。
### 旧版解决方案
自 2023 年 3 月 1 日起,我们已停止对 [这些 MediaPipe 旧版解决方案](https://developers.google.com/mediapipe/solutions/guide#legacy) 的支持。所有其他 MediaPipe 旧版解决方案都将升级到新的 MediaPipe Solution。有关详细信息,请参阅 [解决方案指南](https://developers.google.com/mediapipe/solutions/guide#legacy)。所有 MediaPipe 旧版解决方案的 [代码库](https://github.com/google/mediapipe/tree/master/mediapipe) 和预编译二进制文件将继续按原样提供。
有关旧版解决方案的更多信息,请参阅 [文档](https://github.com/google/mediapipe/tree/master/docs/solutions)。
## 框架
要开始使用 MediaPipe Framework,请 [安装 MediaPipe Framework](https://developers.google.com/mediapipe/framework/getting_started/install) 并开始使用 C++、Android 和 iOS 构建示例应用程序。
[MediaPipe Framework](https://developers.google.com/mediapipe/framework) 是用于构建高效端侧机器学习管道的底层组件,类似于预制的 MediaPipe Solutions。
在使用 MediaPipe Framework 之前,请熟悉以下关键的 [框架概念](https://developers.google.com/mediapipe/framework/framework_concepts/overview.md):
* [Packets](https://developers.google.com/mediapipe/framework/framework_concepts/packets.md)
* [Graphs](https://developers.google.com/mediapipe/framework/framework_concepts/graphs.md)
* [Calculators](https://developers.google.com/mediapipe/framework/framework_concepts/calculators.md)
## 资源
### 出版物
* [利用 AR 让艺术品“活”起来](https://developers.googleblog.com/2021/07/bringing-artworks-to-life-with-ar.html)
(刊载于 Google Developers Blog)
* [通过 Mirru App 使用 MediaPipe 手部追踪控制假肢](https://developers.googleblog.com/2021/05/control-your-mirru-prosthesis-with-mediapipe-hand-tracking.html)
(刊载于 Google Developers Blog)
* [SignAll SDK:使用 MediaPipe 的手语接口现已向开发者开放](https://developers.googleblog.com/2021/04/signall-sdk-sign-language-interface-using-mediapipe-now-available.html)
(刊载于 Google Developers Blog)
* [MediaPipe Holistic - 设备端同步人脸、手部和姿态预测](https://ai.googleblog.com/2020/12/mediapipe-holistic-simultaneous-face.html)
(刊载于 Google AI Blog)
* [Google Meet 中的背景功能,由 Web ML 驱动](https://ai.googleblog.com/2020/10/background-features-in-google-meet.html)
(刊载于 Google AI Blog)
* [MediaPipe 3D 人脸变换](https://developers.googleblog.com/2020/09/mediapipe-3d-face-transform.html)
(刊载于 Google Developers Blog)
* [使用 MediaPipe 进行即时运动追踪](https://developers.googleblog.com/2020/08/instant-motion-tracking-with-mediapipe.html)
(刊载于 Google Developers Blog)
* [BlazePose - 设备端实时身体姿态追踪](https://ai.googleblog.com/2020/08/on-device-real-time-body-pose-tracking.html)
(刊载于 Google AI Blog)
* [MediaPipe Iris:实时眼球追踪与深度估计](https://ai.googleblog.com/2020/08/mediapipe-iris-real-time-iris-tracking.html)
(刊载于 Google AI Blog)
* [MediaPipe KNIFT:基于模板的特征匹配](https://developers.googleblog.com/2020/04/mediapipe-knift-template-based-feature-matching.html)
(刊载于 Google Developers Blog)
* [Alfred Camera:使用 MediaPipe 的智能相机功能](https://developers.googleblog.com/2020/03/alfred-camera-smart-camera-features-using-mediapipe.html)
(刊载于 Google Developers Blog)
* [使用 MediaPipe 在移动设备上进行实时 3D 物体检测](https://ai.googleblog.com/2020/03/real-time-3d-object-detection-on-mobile.html)
(刊载于 Google AI Blog)
* [AutoFlip:智能视频重构的开源框架](https://ai.googleblog.com/2020/02/autoflip-open-source-framework-for.html)
(刊载于 Google AI Blog)
* [Web 端的 MediaPipe](https://developers.googleblog.com/2020/01/mediapipe-on-web.html)
(刊载于 Google Developers Blog)
* [使用 MediaPipe 进行物体检测与追踪](https://developers.googleblog.com/2019/12/object-detection-and-tracking-using-mediapipe.html)
(刊载于 Google Developers Blog)
* [使用 MediaPipe 进行设备端实时手部追踪](https://ai.googleblog.com/2019/08/on-device-real-time-hand-tracking-with.html)
(刊载于 Google AI Blog)
* [MediaPipe:一个用于构建感知管道的框架](https://arxiv.org/abs/1906.08172)
### 视频
* [YouTube 频道](https://www.youtube.com/c/MediaPipe)
标签:AI工具, Android, Apex, DSL, Google, iOS, JS文件枚举, MediaPipe, Nuclei, Web, 人工智能, 人脸识别, 可定制化, 姿态估计, 实时流媒体, 对象检测, 开源框架, 手势识别, 持续集成, 数据可视化, 文本分类, 机器学习, 机器学习解决方案, 桌面应用, 流媒体处理, 深度学习, 物联网, 用户模式Hook绕过, 端侧推理, 计算机视觉, 跨平台开发, 边缘计算, 逆向工具, 音频分类