lyogavin/airllm

 [**快速入门**](#quickstart) | [**配置**](#configurations) | [**MacOS**](#macos) | [**示例笔记本**](#example-python-notebook) | [**常见问题**](#faq) **AirLLM** 优化了推理内存使用，使得70B大型语言模型能够在单个4GB GPU卡上运行推理，无需量化、蒸馏和剪枝。现在您可以在**8GB VRAM**上运行**405B Llama3.1**。  [](https://pepy.tech/project/airllm) ## 贡献 欢迎贡献、想法和讨论！ 如果您觉得它有用，请⭐或买我一杯咖啡！🙏 [](https://bmc.link/lyogavinQ)

标签：4GB GPU, 8GB VRAM, Apex, DLL 劫持, DNS解析, GPU性能, Llama3.1, MacOS支持, 下载量, 人工智能, 内存优化, 剪枝, 大语言模型, 常见问题解答, 开源项目, 快速启动, 技术讨论, 捐赠, 星标, 机器学习, 模型压缩, 模型推理, 深度学习, 用户模式Hook绕过, 示例笔记本, 社区贡献, 神经网络, 蒸馏, 逆向工具, 配置, 量化