vLLM v0.5.5 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.vllm.ai

摘要

文档详细介绍了vLLM v0.5.5版本的功能和性能。主要包括性能基准测试的触发条件和结果展示，KV缓存管理策略，支持多LoRA适配器和多模态模型的缓存方法，以及如何集成新模型的步骤。此外，文档还列出了vLLM的参数配置选项和环境变量设置。

AI总结

以下是文档内容的中文总结：

---

### **vLLM v0.5.5 文档总结**

#### **1. 性能监控与指标**
vLLM 提供了多种性能监控指标，用于跟踪模型的运行状态和资源使用情况：
- **计数器（Counters）**：用于统计成功请求的总数。
- **直方图（Histograms）**：用于统计请求处理的代数令牌、生成令牌、`best_of` 参数和 `n` 参数的分布情况。
- **推测解码统计（Speculative Decoding Stats）**：包括推测令牌接受率、解码效率、接受令牌数、草稿令牌数和发出令牌数的统计。

#### **2. 模型缓存与管理**
vLLM 使用基于哈希表的 KV 缓存策略来优化内存使用和加速计算：
- **缓存共享**：如果新请求与之前的请求共享系统提示（prompt），可以直接复用缓存的 KV 块，避免重复计算。
- **驱逐策略**：当缓存空间满时，优先驱逐无引用计数的 KV 块；如果有多个无引用计数的块，则优先驱逐最近未使用的块；如果仍有多个块未使用，则优先驱逐最长前缀末尾的块。
- **多 LoRA 支持**：通过在哈希中包含 LoRA ID，可以同时管理多个 LoRA 适配器的 KV 块，提升全局缓存命中率。
- **多模态支持**：针对不同模态的输入（如图像），可以使用不同的哈希方法进行缓存。

#### **3. 基准测试**
vLLM 提供了两套基准测试：
- **性能基准**：在高频率下测试 vLLM 在不同工作负载下的性能，结果可在性能仪表盘中查看。
- **夜间基准**：在 vLLM 有重大更新时，与替代方案（如 TGI、TRT-LLM 和 LMDeploy）进行对比测试，结果可在 vLLM 的 GitHub README 中查看。

#### **4. 模型集成指南**
vLLM 支持将 HuggingFace Transformers 模型集成到其生态系统中：
- **模型测试等级**：
1. **严格一致性测试**：与 HuggingFace Transformers 库的贪婪解码输出进行对比。
2. **输出合理性测试**：检查输出的感知质量（如困惑度）和明显错误。
3. **运行时功能性测试**：确保模型可以正常加载和运行。
4. **社区反馈**：依赖社区提供反馈和修复。
- **添加新模型**：根据模型架构的不同，集成复杂度有所差异。对于新架构（如新注意力机制），可能需要更多开发工作。

#### **5. LoRA 与多模态支持**
- **LoRA 支持**：通过指定 LoRA 适配器 ID，可以在不修改模型权重的情况下加载和运行 LoRA 模型。
- **多模态支持**：针对图像等多模态输入，vLLM 提供了专门的哈希方法（如感知哈希）来处理相似输入的缓存。

#### **6. 视觉语言模型（VLM）支持**
vLLM 提供了对视觉语言模型（VLM）的实验性支持：
- **单图输入**：目前仅支持单张图像输入。
- **限制**：VLM 支持可能引入重大变更，建议用户关注后续更新。

#### **7. 安装与环境要求**
- **操作系统**：Linux。
- **Python 版本**：3.8-3.12。
- **GPU 要求**：Compute Capability 7.0 或更高（如 V100、T4、RTX20xx 等）。

#### **8. 其他配置**
- **环境变量**：文档中列出了多个环境变量，用于配置 vLLM 的运行时行为，包括 CUDA 设置、日志配置、注意力计算后端等。

---

总结：vLLM 是一个高性能、灵活易用的大型语言模型推理和部署库，支持多种模型架构、多模态输入、LoRA 适配器和视觉语言模型，并提供了全面的性能监控和基准测试功能。