config/gcloud:/root/.config/gcloud:rw" \ berkeleyskypilot/skypilot-nightly docker exec -it sky /bin/bash 1.11.3 使用 SkyPilot 运行 Qwen1.5-72B-Chat 1. 您可以使用 serve-72b.yaml 中的可用的 GPU 来在单个实例上部署 Qwen1.5-72B-Chat 脚本，您可以无需关注具体细节即可运行。针对不同 类型的训练（例如单 GPU 训练、多 GPU 训练、全参数微调、LoRA 或 Q-LoRA），您可能需要不同的超参数 设置。 cd examples/sft bash finetune.sh -m -d --deepspeed [--use_lora␣ �→True] [--q_lora \ --master_addr $MASTER_ADDR \ --master_port $MASTER_PORT " torchrun $DISTRIBUTED_ARGS src/train_bash.py \ --deepspeed $DS_CONFIG_PATH \ --stage sft \ --do_train \ --use_fast_tokenizer \ --flash_attn

SaaS 服务（GPU版本） $ docker run --runtime nvidia -it --rm --name tf2_ai_saas -p 9000:9000 tf2-ai-saas bash 使用 cURL 发起识别请求 $ curl -H "Content-Type: application/json" --data @body.json http://localhost:9000/tf2/ai_saas

9（我们的测试版本），将下载名称包含字符串“MacOSX”的bash脚 本，并执行以下操作： # 以Intel处理器为例，文件名可能会更改 sh Miniconda3-py39_4.12.0-MacOSX-x86_64.sh -b 如果我们使用Linux，假设Python版本是3.9（我们的测试版本），将下载名称包含字符串“Linux”的bash脚 本，并执行以下操作： # 文件名可能会更改 安装库以运行代码 要运行本书的代码，只需在EC2实例上为linux用户执行安装 (page 9)中的步骤，并使用以下提示在远程linux服 务器上工作。 • 要在Miniconda安装页面下载bash脚本，请右击下载链接并选择“copy Link address”，然后执行wget [copied link address]。 • 运行~/miniconda3/bin/conda init