vLLM v0.4.0.post1 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.vllm.ai

摘要

文档介绍了vLLM项目，这是一个用于大型语言模型推理和部署的高性能库。它支持NVIDIA和AMD GPU，通过paged attention和连续批量处理等技术实现高效推理。文档详细说明了数据收集、安装要求、性能优化以及如何使用vLLM进行批量推理和构建API服务器。用户可以根据需求选择不同的安装方式，并通过环境变量和参数配置优化性能。

AI总结

### 文档总结

1. **数据收集与隐私**
- vLLM默认收集匿名使用数据，数据透明且不含敏感信息，旨在帮助开发团队优化产品，并为社区公开发布。
- 收集的数据字段包括硬件信息（如CPU、GPU型号及内存）、模型架构、运行环境（如操作系统、CUDA版本）等。
- 用户可以选择退出数据收集，通过设置环境变量 `VLLM_NO_USAGE_STATS` 或 `DO_NOT_TRACK`，或创建 `~/.config/vllm/do_not_track` 文件即可禁用。

2. **生产指标**
- vLLM提供了多种生产环境指标，可通过 `/metrics` 端点获取，用于监控系统健康和性能。
- 指标包括：GPU和CPU缓存使用率、请求处理状态（运行、交换、等待）、生成和提示令牌数、延迟分布等。

3. **安装要求与支持硬件**
- 操作系统：Linux
- Python版本：3.8-3.11
- GPU要求：支持compute capability 7.0或更高的NVIDIA GPU（如V100、T4、A100、L4等）或AMD GPU（如MI200s、MI300、Radeon RX 7900系列）。
- 安装方式支持通过Docker镜像快速部署，或从源代码构建。

4. **使用统计与社区贡献**
- vLLM默认启用使用统计收集，数据用于优化开发和社区受益。用户可选择退出统计收集。
- 文档引用了相关研究（如SOSP 2023论文），强调了vLLM在性能优化和延迟降低方面的优势。

5. **性能优化建议**
- CPU后端支持通过环境变量 `VLLM_CPU_KVCACHE_SPACE` 设置KV缓存大小。
- 建议在多核系统中隔离OpenMP线程，避免资源竞争。
- 对于NUMA架构，建议绑定CPU核心和内存以减少延迟。

6. **快速入门指南**
- vLLM支持离线批量推理、API服务器搭建和OpenAI兼容API服务。
- 示例展示了如何使用vLLM进行批量生成和API调用，支持多种采样参数和模型后处理功能。