vLLM v0.4.2 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.vllm.ai

摘要

文档主要介绍了vLLM（一个高性能的大语言模型推理和 serving 库）的功能、安装方法、配置选项以及使用统计。vLLM支持多种 GPU 和 CPU 硬件配置，提供高效的注意力机制和连续批处理功能，适用于大规模模型推理。文档还详细说明了如何通过使用不同的环境变量和配置文件来优化模型性能，并提供了集成第三方模型的指南。

AI总结

### vLLM v0.4.2 文档总结

#### 1. 核心功能与特点
- **高性能推理**：支持高效的LLM推理，包括paged attention、连续批处理和优化的CUDA内核。
- **灵活易用**：支持HuggingFace模型、多种解码算法（如并行采样、束搜索）和OpenAI兼容API服务器。
- **多GPU支持**：支持NVIDIA和AMD GPU，以及张量并行推理。
- **量化支持**：支持多种量化方法（如GPTQ、AWQ、SqueezeLLM、FP8 KV Cache）。

#### 2. 配置与环境变量
- **函数调用跟踪**：通过环境变量`VLLM_TRACE_FUNCTION`启用或禁用函数调用跟踪。
- **注意力后端**：支持多种注意力计算后端（`TORCH_SDPA`、`FLASH_ATTN`、`XFORMERS`、`ROCM_FLASH`）。
- **CPU缓存空间**：默认提供4GB CPU KV缓存空间。
- **Ray优化**：通过环境变量`VLLM_USE_RAY_COMPILED_DAG`启用Ray的编译DAG API以优化控制平面开销。
- **多进程方法**：支持使用`spawn`或`fork`方法进行多进程管理。

#### 3. 使用统计信息收集
- vLLM默认收集匿名使用数据，用于优化开发团队的工作优先级。
- 收集的数据包括硬件信息（如CPU、GPU类型）、模型架构、vLLM版本等。
- 用户可通过设置环境变量`VLLM_NO_USAGE_STATS`或创建`~/.config/vllm/do_not_track`文件选择退出统计收集。

#### 4. 生产指标与监控
- vLLM提供多种生产指标，可通过`/metrics`端点访问。
- 指标包括：
- 请求状态（运行、等待、交换到CPU）。
- GPU和CPU KV缓存使用率。
- 前缀和生成令牌总数。
- GPU内存利用率等。

#### 5. 模型集成与测试
- vLLM支持HuggingFace Transformers模型的无缝集成。
- 模型测试分为四个层次：
- **严格一致性**：与HuggingFace Transformers的贪婪解码输出进行比较（最严格的测试）。
- **输出合理性**：检查输出的合理性和连贯性。
- **运行时功能性**：检查模型是否能正常加载和运行。
- **社区反馈**：依赖社区提供反馈和修复。

#### 6. 新模型的集成
- 提供高阶指南用于集成新的HuggingFace Transformers模型。
- 集成复杂度取决于模型架构，与现有模型架构相似的模型集成较为简单。

#### 7. 与SkyPilot的集成
- vLLM可与SkyPilot结合，用于多服务实例的部署和扩展。
- 支持在云和Kubernetes上运行，提供多种开源模型（如Llama-3、Mixtral）的示例。

#### 8. 安装与兼容性
- **操作系统**：Linux（支持Ubuntu、CentOS等）。
- **Python版本**：3.8-3.11。
- **GPU要求**：计算能力7.0或更高（如V100、T4、A100、L4等）。
- **安装方式**：可通过pip安装，默认支持CUDA 12.1，也可选择CUDA 11.8版本。

#### 9. OpenAI兼容服务器
- 提供OpenAI兼容的API服务器，支持通过OpenAI客户端或HTTP调用。
- 示例展示了如何使用OpenAI Python客户端调用本地运行的vLLM服务。

#### 10. 总结
vLLM是一个高效、灵活且易于使用的LLM推理和部署库，支持多种硬件配置、模型架构和部署方式，适合开发者和研究人员快速构建和优化LLM服务。