Liquid4All/cookbook
GitHub: Liquid4All/cookbook
Liquid AI 官方维护的 LFM 基金会模型与 LEAP SDK 端到端示例库，涵盖桌面、浏览器、移动端和边缘部署及模型微调教程。
Stars: 2140 | Forks: 347
**示例**、**教程**和**应用**，帮助你在笔记本电脑、移动端和边缘设备上使用我们的开放权重 [LFM](https://huggingface.co/LiquidAI) 和 [LEAP SDK](https://leap.liquid.ai/) 进行构建。
## 目录
- [桌面应用](#-desktop-apps)
- [浏览器应用](#-browser-apps)
- [移动端应用](#-mobile-apps) (Android / iOS)
- [微调示例](#-fine-tuning-examples)
- [基于 LFM 的第三方应用](#third-party-apps-powered-by-lfm)
- [社区项目](#-community-projects)
- [技术深入探讨](#-technical-deep-dives)
- [贡献指南](#contributing)
- [支持](#support)
## 🖥️ 桌面应用
用于在笔记本电脑或台式机上运行 LFM 模型的 Python 和 CLI 应用。
| 名称 | 描述 | 链接 |
|------|-------------|------|
| 发票解析器 | 使用 LFM2-VL-3B 从发票图像中提取结构化数据 | [代码](./examples/invoice-parser/README.md) |
| 音频转录 CLI | 使用 LFM2-Audio-1.5B 结合 llama.cpp 进行实时语音转文字转录 | [代码](./examples/audio-transcription-cli/) |
| 航班搜索助手 | 使用带有 tool calling 的 LFM2.5-1.2B-Thinking 查找和预订机票 | [代码](./examples/flight-search-assistant/README.md) |
| 音频汽车座舱 | 结合 LFM2.5-Audio-1.5B 和 LFM2-1.2B-Tool 的语音控制汽车座舱演示 | [代码](./examples/audio-car-cockpit/README.md) |
| LocalCowork | 由 LFM2-24B-A2B 驱动的端侧 AI agent，支持文件操作、安全扫描、OCR 等 | [代码](./examples/localcowork/README.md) |
| 家庭助手 | 使用 LFM2-350M 和 LFM2.5-1.2B 实现具有 tool calling、基准测试和微调 pipeline 的本地家庭助手 | [代码](./examples/home-assistant/README.md) |
| Mac 语音助手 | 在 Apple Silicon Mac 上使用 LFM2.5-Audio-1.5B 和 LEAP SDK 的端侧语音助手 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/leap-ui-demo/macos/LeapVoiceAssistantDemo) |
| Mac 视觉助手 | 在 Apple Silicon Mac 上使用 LEAP SDK 的端侧视觉语言模型对话 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/macOS/LeapVLMExample/LeapVLMExample) |
## 🌐 浏览器应用
通过 WebGPU 和 ONNX Runtime Web 直接在浏览器中运行 LFM 模型的零安装应用。
| 名称 | 描述 | 链接 |
|------|-------------|------|
| Tool Calling | 使用 WebGPU 完全在浏览器中运行 LFM2 以实现浏览器内的 tool calling | [代码](https://huggingface.co/spaces/LiquidAI/LFM2-WebGPU/tree/main) \| [演示](https://huggingface.co/spaces/LiquidAI/LFM2-WebGPU) |
| 语音助手 | 完全在浏览器中运行 LFM2.5-Audio-1.5B 以进行语音识别、TTS 和对话 | [代码](./examples/audio-webgpu-demo/README.md) \| [演示](https://huggingface.co/spaces/LiquidAI/LFM2.5-Audio-1.5B-transformers-js) |
| 实时视频字幕 | 使用 WebGPU 在浏览器内运行 LFM2.5-VL-1.6B 进行实时视频字幕生成 | [代码](./examples/vl-webgpu-demo/README.md) \| [演示](https://huggingface.co/spaces/LiquidAI/LFM2-VL-WebGPU) |
| 思维链推理 | 使用 WebGPU 完全在浏览器中运行 LFM2.5-1.2B-Thinking，以实现端侧思维链推理 | [代码](https://huggingface.co/spaces/LiquidAI/LFM2.5-1.2B-Thinking-WebGPU/tree/main) \| [演示](https://huggingface.co/spaces/LiquidAI/LFM2.5-1.2B-Thinking-WebGPU) |
| 手势与语音赛车游戏 | 由手势 (MediaPipe) 和语音命令 (LFM2.5-Audio-1.5B) 控制的浏览器赛车游戏，完全在本地运行 | [代码](./examples/hand-voice-racer/README.md) |
| LEAP 语音助手 | 使用 LEAP SDK 通过 WebAssembly 在浏览器中运行的端侧语音助手 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/leap-ui-demo/web) |
## 📱 移动端应用
使用 [LEAP Edge SDK](https://leap.liquid.ai/docs/edge-sdk/overview) 在 iOS 和 Android 上部署 LFM2 模型的原生示例。专为 Android (Kotlin) 和 iOS (Swift) 编写，Edge SDK 的目标是让小型语言模型的部署像调用云端 LLM API endpoint 一样简单。
### Android
| 名称 | 描述 | 链接 |
|------|-------------|------|
| LeapChat | 具有实时流式传输、持久化历史记录和现代 UI 的聊天应用 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/Android/LeapChat) |
| 语音助手 | 使用 LFM2.5-Audio-1.5B 进行音频输入和输出，实现端侧 AI 推理 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/leap-ui-demo/android) |
| LeapKoogAgent | 与 Koog 框架集成以实现 AI agent 功能 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/Android/LeapKoogAgent) |
| SloganApp | 使用 Android Views 实现单轮营销标语生成 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/Android/SloganApp) |
| ShareAI | 网站摘要生成器 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/Android/ShareAI) |
| 食谱生成器 | 使用 LEAP SDK 生成结构化输出 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/Android/RecipeGenerator) |
| VLM 示例 | 视觉语言模型集成 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/Android/VLMExample) |
### iOS
| 名称 | 描述 | 链接 |
|------|-------------|------|
| LeapChat | 具有实时流式传输、对话管理功能和 SwiftUI 的聊天应用 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/iOS/LeapChatExample) |
| LeapSloganExample | 在 SwiftUI 中进行文本生成的基础 LeapSDK 集成 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/iOS/LeapSloganExample) |
| 食谱生成器 | 结构化输出生成 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/iOS/RecipeGenerator) |
| 语音助手 | 使用 LFM2.5-Audio-1.5B 进行音频输入和输出，实现端侧 AI 推理 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/leap-ui-demo/ios/LeapVoiceAssistantDemo) |
| 视觉助手 | 在 iOS 上使用 LEAP SDK 进行视觉语言模型对话 | [代码](https://github.com/Liquid4All/LeapSDK-Examples/tree/main/iOS/LeapVLMExample) |
| 电信诊断 | 边缘优先的家庭互联网支持助手，具备端侧 LFM 路由、本地工具以及云端协助交接功能 | [代码](./examples/telco-triage-ios/README.md) |
## 🎯 微调示例
使用您自己的数据自定义 LFM 模型的 Colab notebook 和 Python 脚本。
| 名称 | 描述 | 链接 |
|------|-------------|------|
| **监督微调 (SFT)** | | |
| 使用 Unsloth 进行 SFT | 使用 Unsloth 和 LoRA 进行内存高效的 SFT，训练速度提升 2 倍 | [Notebook](./finetuning/notebooks/sft_with_unsloth.ipynb) |
| 使用 TRL 进行 SFT | 使用 Hugging Face TRL 库进行参数高效的 LoRA 监督微调 | [Notebook](./finetuning/notebooks/sft_with_trl.ipynb) |
| **强化学习** | | |
| 使用 Unsloth 进行 GRPO | 使用 Group Relative Policy Optimization 训练推理模型以处理可验证任务 | [Notebook](./finetuning/notebooks/grpo_with_unsloth.ipynb) |
| 使用 TRL 进行 GRPO | 使用 Group Relative Policy Optimization 和基于规则的奖励来训练推理模型 | [Notebook](./finetuning/notebooks/grpo_for_verifiable_tasks.ipynb) |
| **持续预训练 (CPT)** | | |
| 用于翻译的 CPT | 使用领域数据使模型适应特定语言或翻译领域 | [Notebook](./finetuning/notebooks/cpt_translation_with_unsloth.ipynb) |
| 用于文本补全的 CPT | 教授模型特定领域的知识和创意写作风格 | [Notebook](./finetuning/notebooks/cpt_text_completion_with_unsloth.ipynb) |
| **Encoder 模型** | | |
| LFM Encoder 分类 | 微调 LFM2.5-Encoder 以实现自定义长文档多标签分类 | [代码](./examples/lfm-encoder-classification/) |
| **视觉语言模型** | | |
| 使用 Unsloth 进行 VLM SFT | 在自定义图文数据集上对 LFM2-VL 模型进行监督微调 | [Notebook](./finetuning/notebooks/sft_for_vision_language_model.ipynb) |
| 卫星 VLM 微调 | 使用 Modal 在卫星图像上微调 LFM2.5-VL-450M，以实现 VQA、grounding 和字幕生成 | [代码](./examples/satellite-vlm/README.md) |
| 野火预防 | 使用 LFM2.5-VL-450M 和 Sentinel-2 卫星图像构建野火风险检测系统，支持微调和端侧推理 | [代码](./examples/wildfire-prevention/README.md) |
| **音频语言模型** | | |
| LFM2.5-Audio 微调 | 在 OHF-Voice 数据集上微调 LFM2.5-Audio-1.5B，将语音直接映射到家庭助手 function calls，并支持端侧 GGUF 推理 | [代码](./examples/voice-assistant/README.md) |
## 基于 LFM 的第三方应用
支持以 LFM 模型作为推理后端（以及其他提供商）的生产级和开源应用。
| 名称 | 描述 | 链接 |
|------|-------------|------|
| DeepCamera | 开源 AI 摄像头系统，提供本地视觉智能，具备面部识别、人员重识别，并支持在 Jetson 和 Raspberry Pi 上进行边缘部署 | [代码](https://github.com/SharpAI/DeepCamera) |
| Osaurus | 原生 macOS AI 驱动工具，用于在本地管理 agent、记忆、工具和身份，并通过 MLX 在 Apple Silicon 上支持 LFM 模型 | [代码](https://github.com/osaurus-ai/osaurus) |
| SelfLink | 原生 iOS 隐私优先的日记应用 | [网站](https://www.realityplay.io/selflink) |
## 🌟 社区项目
由社区构建的开源项目，展示了 LFM 在实际用例中的应用。
### 微调
| 名称 | 描述 | 链接 |
|------|-------------|------|
| LFM2.5 移动操作 | 经过 LoRA 微调的 LFM2.5-1.2B，可将自然语言转换为 Android OS function calls，用于端侧移动操作识别 | [代码](https://github.com/Mandark-droid/LFM2.5-1.2B-Instruct-mobile-actions) |
| 食物图像微调 | 在食物图像数据集上微调 LFM 模型 | [代码](https://github.com/benitomartin/food-images-finetuning) |
| LFM2-KoEn-Tuning | 为韩英翻译微调的 LFM2 1.2B | [代码](https://github.com/gyunggyung/LFM2-KoEn-Tuning) |
| SFT + DPO 微调 | 教授 1.2B 模型扮演脾气暴躁的意大利厨师：使用 Unsloth 进行 SFT + DPO 微调 | [代码](https://github.com/benitomartin/grumpy-chef-finetuning-dpo) |
| LFM2-2.6B 井字棋先生 | 通过强化学习微调 LFM2-2.6B 以玩井字棋 | [代码](https://github.com/anakin87/llm-rl-environments-lil-course) |
### 部署
| 名称 | 描述 | 链接 |
|------|-------------|------|
| Web 上的 LFM-2.5 Thinking | 通过 WebGPU 和 Transformers.js 在浏览器中本地运行 LFM2.5-1.2B 推理模型 | [代码](https://github.com/sitammeur/lfm2.5-thinking-web) |
| Web 上的 LFM-2.5 JP | 通过 WebGPU 和 Transformers.js 在浏览器中本地运行 LFM2.5-1.2B 日语模型 | [代码](https://github.com/sitammeur/lfm2.5-jp-web) |
| barq-web-rag | 基于浏览器的 RAG 应用，用于文档问答，通过 WebGPU 实现完全本地运行的 LFM2.5-1.2B-Thinking | [代码](https://github.com/YASSERRMD/barq-web-rag) |
| Tauri Plugin LEAP AI | Tauri 插件，用于将 LEAP 和 Liquid LFM 集成到桌面和移动应用中 | [Crate](https://crates.io/crates/tauri-plugin-leap-ai) |
| 使用 LEAP SDK 聊天 | 针对 React Native 的 LEAP SDK 集成 | [代码](https://github.com/glody007/expo-leap-sdk) |
### 端到端项目
| 名称 | 描述 | 链接 |
|------|-------------|------|
| 边缘图像分类 | 微调并部署本地 VLM，以便在边缘设备上进行快速、准确的图像分类 | [代码](https://github.com/Paulescu/image-classification-with-local-vlms) |
| 小型语言模型国际象棋游戏 | 微调并部署一个小型语言模型来下国际象棋 | [代码](https://github.com/Paulescu/chess-game) |
| 私有文档问答 | 具备 RAG 和语音输入的端侧文档问答 | [代码](https://github.com/chintan-projects/private-doc-qa) |
| 照片分拣 Agent | 使用 LFM 视觉模型进行私人照片库清理 | [代码](https://github.com/chintan-projects/photo-triage-agent) |
| Tiny-MoA | 在 CPU 上运行、以 LFM2.5 Brain (1.2B) 为核心的混合 agent | [代码](https://github.com/gyunggyung/Tiny-MoA) |
| LFM-Scholar | 用于查找和引用论文的自动化文献综述 agent | [代码](https://github.com/gyunggyung/LFM-Scholar) |
| 私有摘要生成器 | 100% 本地文本摘要生成，支持多语言 | [代码](https://github.com/Private-Intelligence/private_summarizer) |
| TranslatorLens | 用于实时文本翻译的离线翻译相机 | [代码](
标签：AI, AI工具, 多模态, 大模型, 实时告警, 微调, 示例项目, 自动化代码审查, 边缘计算, 逆向工具