xai-org/grok-1

# Grok-1 本仓库包含用于加载和运行 Grok-1 开放权重模型的 JAX 示例代码。 请确保下载检查点（checkpoint）并将 `ckpt-0` 目录放置在 `checkpoints` 中 - 请参阅 [下载权重](#downloading-the-weights) 然后，运行 ``` pip install -r requirements.txt python run.py ``` 以测试代码。 该脚本会加载检查点（checkpoint），并在测试输入上对模型进行采样。 由于模型（314B 参数）规模庞大，需要具有足够 GPU 内存的机器才能使用示例代码测试该模型。 本仓库中 MoE 层的实现效率不高。选择这种实现方式是为了避免使用自定义 kernel 来验证模型的正确性。 # 模型规格 Grok-1 目前的设计规格如下： - **参数：** 314B - **架构：** 8 专家混合模型 - **专家利用率：** 每个 token 使用 2 个专家 - **层数：** 64 - **注意力头：** query 为 48 个，key/value 为 8 个 - **Embedding 大小：** 6,144 - **分词：** 包含 131,072 个 token 的 SentencePiece tokenizer - **附加特性：** - 旋转 Embedding - 支持 activation sharding 和 8 位量化 - **最大序列长度（上下文）：** 8,192 个 token # 下载权重 你可以使用 torrent 客户端和此磁力链接下载权重： ``` magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce ``` 或者直接使用 [HuggingFace 🤗 Hub](https://huggingface.co/xai-org/grok-1)： ``` git clone https://github.com/xai-org/grok-1.git && cd grok-1 pip install huggingface_hub[hf_transfer] huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False ``` # 许可证 本次发布中的代码和相关的 Grok-1 权重基于以下许可证授权： Apache 2.0 许可证。该许可证仅适用于本仓库中的源 文件和 Grok-1 的模型权重。

标签：Apex, DLL 劫持, JAX, 人工智能, 大语言模型, 机器学习, 混合专家模型, 用户模式Hook绕过, 逆向工具