openvinotoolkit/openvino

- **推理优化**：提升计算机视觉、自动语音识别、生成式 AI、大/小语言模型自然语言处理以及许多其他常见任务中的深度学习性能。 - **灵活的模型支持**：使用 PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle 和 JAX/Flax 等流行框架训练的模型。通过 Optimum Intel 直接集成来自 Hugging Face Hub 的使用 transformers 和 diffusers 构建的模型。无需原始框架即可转换和部署模型。 - **广泛的平台兼容性**：减少资源需求，并在从边缘到云的各种平台上高效部署。OpenVINO™ 支持 CPU (x86, ARM)、GPU (Intel 集成 & 独立 GPU) 和 AI 加速器 (Intel NPU) 上的推理。 - **社区与生态系统**：加入一个活跃的社区，共同致力于提升各个领域的深度学习性能。 查看 [OpenVINO 速查表](https://docs.openvino.ai/2026/_static/download/OpenVINO_Quick_Start_Guide.pdf) 和 [关键特性](https://docs.openvino.ai/2026/about-openvino/key-features.html) 以获取快速参考。 ## 安装说明 [获取您偏好的 OpenVINO 发行版](https://docs.openvino.ai/2026/get-started/install-openvino.html) 或使用此命令进行快速安装： ``` pip install -U openvino ``` 查看 [系统要求](https://docs.openvino.ai/2026/about-openvino/release-notes-openvino/system-requirements.html) 和 [支持的设备](https://docs.openvino.ai/2026/documentation/compatibility-and-support/supported-devices.html) 以获取详细信息。 ## 教程与示例 [OpenVINO 快速入门示例](https://docs.openvino.ai/2026/get-started.html) 将引导您完成部署第一个模型的基础知识。 通过 [OpenVINO Notebooks](https://github.com/openvinotoolkit/openvino_notebooks)📚 学习如何优化和部署流行模型： - [使用 OpenVINO 创建 LLM 驱动的聊天机器人](https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/llm-chatbot/llm-chatbot-generate-api.ipynb) - [YOLOv11 优化](https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/yolov11-optimization/yolov11-object-detection.ipynb) - [文本到图像生成](https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/text-to-image-genai/text-to-image-genai.ipynb) - [使用 LLaVa 和 OpenVINO 的多模态助手](https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/llava-multimodal-chatbot/llava-multimodal-chatbot-genai.ipynb) - [使用 Whisper 和 OpenVINO 进行自动语音识别](https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/whisper-asr-genai/whisper-asr-genai.ipynb) 在 [OpenVINO Samples (Python & C++)](https://docs.openvino.ai/2026/get-started/learn-openvino/openvino-samples.html) 和 [Notebooks (Python)](https://docs.openvino.ai/2026/get-started/learn-openvino/interactive-tutorials-python.html) 中发现更多示例。 以下是易于遵循的代码示例，演示如何使用 OpenVINO 运行 PyTorch 和 TensorFlow 模型推理： **PyTorch Model** ``` import openvino as ov import torch import torchvision # 将 PyTorch model 加载到内存 model = torch.hub.load("pytorch/vision", "shufflenet_v2_x1_0", weights="DEFAULT") # 将 model 转换为 OpenVINO model example = torch.randn(1, 3, 224, 224) ov_model = ov.convert_model(model, example_input=(example,)) # 为 CPU device 编译 model core = ov.Core() compiled_model = core.compile_model(ov_model, 'CPU') # 在随机数据上 infer model output = compiled_model({0: example.numpy()}) ``` **TensorFlow Model** ``` import numpy as np import openvino as ov import tensorflow as tf # 将 TensorFlow model 加载到内存 model = tf.keras.applications.MobileNetV2(weights='imagenet') # 将 model 转换为 OpenVINO model ov_model = ov.convert_model(model) # 为 CPU device 编译 model core = ov.Core() compiled_model = core.compile_model(ov_model, 'CPU') # 在随机数据上 infer model data = np.random.rand(1, 224, 224, 3) output = compiled_model({0: data}) ``` OpenVINO 支持 CPU、GPU 和 NPU [设备](https://docs.openvino.ai/2026/openvino-workflow/running-inference/inference-devices-and-modes.html)，并适用于来自 PyTorch、TensorFlow、ONNX、TensorFlow Lite、PaddlePaddle 和 JAX/Flax [框架](https://docs.openvino.ai/2026/openvino-workflow/model-preparation.html)的模型。它包含 C++、Python、C、NodeJS 的 [API](https://docs.openvino.ai/2026/api/api_reference.html)，并提供 GenAI API 用于优化的模型 pipeline 和性能。 ## 使用 OpenVINO 进行生成式 AI 从 OpenVINO GenAI [安装](https://docs.openvino.ai/2026/get-started/install-openvino/install-openvino-genai.html)开始，并参考[详细指南](https://docs.openvino.ai/2026/openvino-workflow-generative/generative-inference.html)以探索使用 OpenVINO 的生成式 AI 功能。 了解如何在 [OpenVINO™ GenAI repo](https://github.com/openvinotoolkit/openvino.genai) 中运行 LLM 和 GenAI [示例](https://github.com/openvinotoolkit/openvino.genai/tree/master/samples)。通过 Jupyter notebooks 查看 GenAI 实战：[LLM 驱动的聊天机器人](https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/llm-chatbot) 和 [LLM 指令遵循 pipeline](https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/llm-question-answering)。 ## 文档 [用户文档](https://docs.openvino.ai/)包含有关 OpenVINO 的详细信息，并指导您从安装到为您的 AI 应用程序优化和部署模型。 [开发者文档](./docs/dev/index.md)侧重于 OpenVINO 架构，并描述了[构建](./docs/dev/build.md)和[贡献](./CONTRIBUTING.md)流程。 ## OpenVINO 生态系统 ### OpenVINO 工具 - [Neural Network Compression Framework (NNCF)](https://github.com/openvinotoolkit/nncf) - 先进的模型优化技术，包括量化和稀疏性。 - [GenAI Repository](https://github.com/openvinotoolkit/openvino.genai) 和 [OpenVINO Tokenizers](https://github.com/openvinotoolkit/openvino_tokenizers) - 用于开发和优化生成式 AI 应用程序的资源和工具。 - [OpenVINO™ Model Server (OVMS)](https://github.com/openvinotoolkit/model_server) - 一个可扩展、高性能的解决方案，用于服务针对 Intel 架构优化的模型。 - [Intel® Geti™](https://geti.intel.com/) - 一个用于计算机视觉用例的交互式视频和图像标注工具。 ### 集成 - [🤗Optimum Intel](https://github.com/huggingface/optimum-intel) - 通过 Hugging Face API 抓取和使用利用 OpenVINO 的模型。 - [Torch.compile](https://docs.openvino.ai/2026/openvino-workflow/torch-compile.html) - 通过将代码 JIT 编译为优化内核，在 Python 原生应用程序中使用 OpenVINO。 - [ExecuTorch](https://github.com/pytorch/executorch/blob/main/backends/openvino/README.md) - 结合 ExecuTorch 与 OpenVINO 以高效优化和运行 AI 模型。 - [OpenVINO LLMs inference and serving with vLLM​](https://github.com/vllm-project/vllm-openvino) - 利用 OpenVINO backend 增强 vLLM 快速简便的模型服务。 - [OpenVINO Execution Provider for ONNX Runtime](https://onnxruntime.ai/docs/execution-providers/OpenVINO-ExecutionProvider.html) - 在现有的 ONNX Runtime 代码中使用 OpenVINO 作为后端。 - [LlamaIndex](https://docs.llamaindex.ai/en/stable/examples/llm/openvino/) - 使用 LlamaIndex 框架构建上下文增强的 GenAI 应用程序，并利用 OpenVINO 增强运行时性能。 - [LangChain](https://python.langchain.com/docs/integrations/llms/openvino/) - 将 OpenVINO 与 LangChain 框架集成，以增强 GenAI 应用程序的运行时性能。 - [Keras 3](https://github.com/keras-team/keras) - Keras 3 是一个多后端深度学习框架。用户可以使用 Keras API 将模型推理切换到 OpenVINO backend。 查看 [Awesome OpenVINO](https://github.com/openvinotoolkit/awesome-openvino) 仓库，发现一系列基于 OpenVINO 的社区 AI 项目！ ## 性能 探索 [OpenVINO 性能基准测试](https://docs.openvino.ai/2026/about-openvino/performance-benchmarks.html)以发现最佳硬件配置，并基于经过验证的数据规划您的 AI 部署。 ## 贡献与支持 查看 [贡献指南](./CONTRIBUTING.md)了解更多详情。 如果您正在寻找开始贡献的地方，请阅读 [Good First Issues 部分](./CONTRIBUTING.md#3-start-working-on-your-good-first-issue)。我们欢迎各种形式的贡献！ 您可以在以下平台提问并获得支持： * [GitHub Issues](https://github.com/openvinotoolkit/openvino/issues)。 * [Intel DevHub Discord server](https://discord.gg/7pVRxUwdWG) 上的 OpenVINO 频道。 * Stack Overflow\* 上的 [`openvino`](https://stackoverflow.com/questions/tagged/openvino) 标签。 ## 资源 * [发行说明](https://docs.openvino.ai/2026/about-openvino/release-notes-openvino.html) * [OpenVINO 博客](https://blog.openvino.ai/) * [OpenVINO™ toolkit on Medium](https://medium.com/@openvino) ## 遥测 OpenVINO™ 收集软件性能和使用数据，旨在改进 OpenVINO™ 工具。 此数据由 OpenVINO™ 直接收集或通过使用 Google Analytics 4 收集。 您可以随时通过运行以下命令选择退出： ``` opt_in_out --opt_out ``` 更多信息请访问 [OpenVINO™ Telemetry](https://docs.openvino.ai/2026/about-openvino/additional-resources/telemetry.html)。 ## 许可证 OpenVINO™ Toolkit 根据 [Apache License Version 2.0](LICENSE) 授权。 通过为项目做出贡献，您同意其中的许可和版权条款，并根据这些条款发布您的贡献。 \* 其他名称和品牌可能是其他公司的财产。

标签：AI推理, Apex, C++, CNCF毕业项目, DLL 劫持, Intel, JAX, Keras, MITM代理, ONNX, OpenVINO, PaddlePaddle, Python, PyTorch, TensorFlow, 云安全, 人工智能, 凭据扫描, 大语言模型, 开源工具包, 推理加速, 数据擦除, 无后门, 机器学习, 模型优化, 模型转换, 模型部署, 深度学习, 生成式AI, 用户模式Hook绕过, 神经网络, 索引, 自动语音识别, 计算机视觉, 边缘计算, 逆向工具, 量化压缩, 高性能计算