mozilla-ai/llamafile

# llamafile [](https://github.com/Mozilla-Ocho/llamafile/actions/workflows/ci.yml)
[](https://discord.gg/YuMNeuKStr)

**llamafile 让你可以通过单个文件分发和运行 LLM。（[公告博客文章](https://hacks.mozilla.org/2023/11/introducing-llamafile/)）** 我们的目标是让开源 LLM 对开发者和最终用户都更加易于获取。我们通过将 [llama.cpp](https://github.com/ggerganov/llama.cpp) 与 [Cosmopolitan Libc](https://github.com/jart/cosmopolitan) 结合成一个框架来实现这一目标，该框架将 LLM 的所有复杂性简化为一个单文件可执行文件（称为 "llamafile"），无需安装即可在大多数计算机上本地运行。


llamafile 是一个 Mozilla Builders 项目。

## 快速开始 在几分钟内下载并运行你的第一个 llamafile： ``` # 下载示例模型 (LLaVA 1.5 7B) curl -LO https://huggingface.co/Mozilla/llava-v1.5-7b-llamafile/resolve/main/llava-v1.5-7b-q4.llamafile # 使其可执行 (macOS/Linux/BSD) chmod +x llava-v1.5-7b-q4.llamafile # 运行它 (自动打开浏览器) ./llava-v1.5-7b-q4.llamafile ``` **Windows 用户：** 在运行之前，请将文件重命名以添加 `.exe` 扩展名。 ## 文档 查看 [docs/](docs/) 文件夹中的完整文档或在线访问 [mozilla-ai.github.io/llamafile](https://mozilla-ai.github.io/llamafile/)，或直接跳转到以下子部分： - [快速开始](https://mozilla-ai.github.io/llamafile/quickstart/) - [支持的系统](https://mozilla-ai.github.io/llamafile/support/) - [llamafile 示例](https://mozilla-ai.github.io/llamafile/example_llamafiles/) - [创建 llamafile](https://mozilla-ai.github.io/llamafile/creating_llamafiles/) - [源码安装](https://mozilla-ai.github.io/llamafile/source_installation/) - [技术细节](https://mozilla-ai.github.io/llamafile/technical_details/) - [安全性](https://mozilla-ai.github.io/llamafile/security/) - [故障排除](https://mozilla-ai.github.io/llamafile/troubleshooting/) ## 许可证 虽然 llamafile 项目采用 Apache 2.0 许可证，但我们对 llama.cpp 的修改是根据 MIT 许可的（就像 llama.cpp 项目本身一样），以便在未来保持兼容性并可以向上游贡献，如果需要的话。 此页面上的 llamafile Logo 是在 DALL·E 3 的辅助下生成的。 [](https://star-history.com/#Mozilla-Ocho/llamafile&Date)

标签：AI, Apex, Cosmopolitan Libc, DLL 劫持, llama.cpp, llamafile, LLM, Mozilla, SOC Prime, UML, Unmanaged PE, Vectored Exception Handling, 人工智能, 便携式AI, 单文件部署, 可执行文件, 大语言模型, 客户端加密, 开发工具, 开源, 推理框架, 无安装, 本地大模型, 本地运行, 机器学习, 模型分发, 深度学习, 用户模式Hook绕过, 自动化代码审查, 边缘计算, 隐私计算