Grok 2

此仓库包含Grok 2的权重，这是在2024年在xAI训练和使用的模型。

使用：通过SGLang提供服务

• 下载权重。你可以将/local/grok-2替换为你喜欢的任何其他文件夹名称。

  hf download xai-org/grok-2 --local-dir /local/grok-2

  在下载过程中你可能会遇到一些错误。请重试直到下载成功。
  如果下载成功，该文件夹应包含42个文件，并且大小约为500 GB。

• 启动服务器。

  从https://github.com/sgl-project/sglang/ 安装最新版本的SGLang推理引擎（>= v0.5.1）

  使用下面的命令启动一个推理服务器。这个检查点是TP=8，因此你需要8块GPU（每块GPU内存大于40GB）。

  python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton

• 发送请求。

  这是一个后训练模型，请使用正确的聊天模板。

  python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>\n\nAssistant:"

  你应该能看到模型输出其名称Grok。

  了解更多发送请求的方式，请参阅这里。

许可证

权重根据Grok 2社区许可协议授权。