GPT4All

现已支持 DeepSeek R1 Distillations

网站 • 文档 • Discord • YouTube 教程

GPT4All 可在普通台式机和笔记本电脑上本地运行大型语言模型 (LLM)。

无需 API 调用或 GPU - 只需下载应用程序即可开始使用。

阅读我们的博客了解最新动态。

订阅新闻邮件

https://github.com/nomic-ai/gpt4all/assets/70534565/513a0f15-4964-4109-89e4-4f9a9011f311

GPT4All 的实现得益于我们的算力合作伙伴 Paperspace。

## 下载链接

— Windows Installer —

— Windows ARM Installer —

— macOS Installer —

— Ubuntu Installer —

The Windows and Linux builds require Intel Core i3 2nd Gen / AMD Bulldozer, or better.

The Windows ARM build supports Qualcomm Snapdragon and Microsoft SQ1/SQ2 processors.

The Linux build is x86-64 only (no ARM).

The macOS build requires Monterey 12.6 or newer. Best results with Apple Silicon M-series processors.

查看完整的 [系统要求](gpt4all-chat/system_requirements.md) 了解更多详情。

Flathub (community maintained)

## 安装 GPT4All Python `gpt4all` 通过基于 [`llama.cpp`](https://github.com/ggerganov/llama.cpp) 实现的 Python 客户端让您访问 LLM。 Nomic 为 [`llama.cpp`](https://github.com/ggerganov/llama.cpp) 等开源软件做出贡献，旨在让所有人 **(for all)** 都能使用高效便捷的 LLM。 ``` pip install gpt4all ``` ``` from gpt4all import GPT4All model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # downloads / loads a 4.66GB LLM with model.chat_session(): print(model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024)) ``` ## 集成 :parrot::link: [Langchain](https://python.langchain.com/v0.2/docs/integrations/providers/gpt4all/) :card_file_box: [Weaviate 向量数据库](https://github.com/weaviate/weaviate) - [模块文档](https://weaviate.io/developers/weaviate/modules/retriever-vectorizer-modules/text2vec-gpt4all) :telescope: [OpenLIT (OTel 原生监控)](https://github.com/openlit/openlit) - [文档](https://docs.openlit.io/latest/integrations/gpt4all) ## 发布历史 - **2024 年 7 月 2 日**：V3.0.0 版本发布 - 聊天应用程序 UI 的全新重构 - 改进了 LocalDocs 的用户工作流 - 扩展了对更多模型架构的访问 - **2023 年 10 月 19 日**：GGUF 支持上线，支持： - Mistral 7b 基础模型，我们网站上更新的模型库，包括 Rift Coder v1.5 在内的多款新本地代码模型 - [Nomic Vulkan](https://blog.nomic.ai/posts/gpt4all-gpu-inference-with-vulkan) 支持 GGUF 中的 Q4\_0 和 Q4\_1 量化。 - 离线构建支持，用于运行旧版本的 GPT4All 本地 LLM 聊天客户端。 - **2023 年 9 月 18 日**：[Nomic Vulkan](https://blog.nomic.ai/posts/gpt4all-gpu-inference-with-vulkan) 发布，支持在 NVIDIA 和 AMD GPU 上进行本地 LLM 推理。 - **2023 年 7 月**：LocalDocs 的稳定支持，该功能允许您在本地私密地与您的数据进行聊天。 - **2023 年 6 月 28 日**：[基于 Docker 的 API 服务器] 上线，允许通过兼容 OpenAI 的 HTTP 端点进行本地 LLM 推理。 ## 引用 如果您在后续项目中使用了本仓库、模型或数据，请考虑使用以下方式引用： ``` @misc{gpt4all, author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar}, title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo}, year = {2023}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/nomic-ai/gpt4all}}, } ```

标签：Apex, ChatGPT替代, CPU推理, DeepSeek, DeepSeek R1, DLL 劫持, GPT4All, LLM, Nomic AI, RAG, Unmanaged PE, 人工智能, 免费商用, 大语言模型, 实时告警, 无GPU推理, 本地部署, 机器学习, 桌面应用, 模型微调, 熵值分析, 用户模式Hook绕过, 离线推理, 请求拦截, 边缘计算, 逆向工具, 量化模型, 隐私计算