vLLM v0.5.4 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.vllm.ai

摘要

文档详细介绍了vLLM v0.5.4的安装要求、功能特点和性能调优方法。vLLM是一个高性能的大语言模型推理和 serving 库，支持多种GPU和AMD GPU，具有高效的注意力机制（paged attention）和连续批量处理能力。文档还介绍了vLLM对多模态数据的支持、实验性的视觉语言模型（VLM）功能以及性能优化建议，如处理KV缓存不足的预emption机制和分块预填充功能。

AI总结

# vLLM v0.5.4 文档总结

## 1. 安装
- **系统要求**：
- 操作系统：Linux
- Python版本：3.8-3.12
- GPU：计算能力7.0或更高（如V100、T4、RTX20xx、A100、L4、H100等）

- **安装方式**：
- 使用pip安装：

    pip install vllm

- 支持不同CUDA版本的安装：

    pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

## 2. 核心功能
- **高性能**：
- 状态-of-the-art推理吞吐量
- PagedAttention优化显存管理
- 连续批量处理提升吞吐量23倍，降低p50延迟
- 支持多种量化方法（GPTQ、AWQ、SqueezeLLM、FP8 KV Cache）

- **易用性**：
- 与HuggingFace模型无缝集成
- 支持多种解码算法（平行采样、束搜索等）
- 提供OpenAI兼容API服务器
- 支持NVIDIA和AMD GPU

## 3. 多模态支持
- **实验性支持**：
- 当前仅支持单张图片输入
- 通过`vllm.inputs.PromptInputs`传递图片数据，格式需符合HuggingFace规范

## 4. 性能调优
- **预emption机制**：
- 当KV缓存不足时，系统会抢占请求以释放内存
- 建议措施：
- 增加`gpu_memory_utilization`
- 减少`max_num_seqs`或`max_num_batched_tokens`
- 增加`tensor_parallel_size`

- **分块预填充**：
- 通过`--enable-chunked-prefill`或`enable_chunked_prefill=True`启用
- 支持将大文本分成小块处理，优化长文本推理性能

## 5. 部署与配置
- **Docker部署**：
- 使用官方镜像`vllm/vllm-openai`：

    docker run --runtime nvidia --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface -p 8000:8000 --ipc=host vllm/vllm-openai:latest --model mistralai/Mistral-7B-v0.1

- 支持从源码构建镜像：

    DOCKER_BUILDKIT=1 docker build . --target vllm-openai --tag vllm/vllm-openai

- **环境变量配置**：
- 多种环境变量用于调整运行时行为，如：
- `VLLM_ATTENTION_BACKEND`：选择注意力计算后端（TORCH_SDPA、FLASH_ATTN、XFORMERS等）
- `VLLM_CONFIGURE_LOGGING`：配置日志记录
- `VLLM_NO_USAGE_STATS`：禁用使用统计

## 6. 资源与工具
- **贡献者资源**：
- 提供调试和优化指南，如《Hacker's Guide to Speculative Decoding》
- 分享技术细节，如《What is Lookahead Scheduling》

- **性能与调优**：
- 监控预emption次数，优化系统资源分配
- 使用Prometheus监控性能指标

## 7. 其他功能
- **日志记录**：
- 支持配置日志级别和输出格式
- 可通过环境变量`VLLM_LOGGING_LEVEL`设置，默认为INFO

- **分布式环境**：
- 提供多进程间通信配置，如`VLLM_HOST_IP`和`VLLM_PORT`

- **模型来源**：
- 支持从Hugging Face Hub和ModelScope加载模型

## 总结
vLLM v0.5.4 是一个高性能、易用的大型语言模型推理库，支持多种优化功能和多模态实验性功能。通过Docker部署和丰富的环境变量配置，用户可以灵活调整性能和行为，满足不同场景的需求。文档提供了详细的安装指南、性能调优建议和资源支持，帮助用户更好地理解和使用vLLM。