Deepseek R1 本地部署完全手册4090(96GB显存+384GB内存) 7-8 token/秒(混合推理) 3. 部署步骤(Linux示例) 1. 安装依赖⼯具: # 安装llama.cpp(⽤于合并分⽚⽂件) /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" brew install llama.cpp )。 llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf curl -fsSL https://ollama.com/install.sh | sh FROM /path/to/DeepSeek-R1-UD-IQ1_M.gguf PARAMETER num_gpu0 码力 | 7 页 | 932.77 KB | 8 月前3
共 1 条
- 1













