vLLM v0.5.1 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.vllm.ai

摘要

The document provides a detailed guide on using vLLM, a fast and easy-to-use library for large language model (LLM) inference and serving. It highlights key features such as support for Vision Language Models (VLMs), including offline batched inference and online OpenAI Vision API compatible inference. The document also covers installation requirements, engine arguments, performance tuning, and experimental features like chunked prefill. Additionally, it discusses data collection practices and configuration options for logging and model serving.

AI总结

### vLLM v0.5.1 文档总结

---

#### 1. **vLLM 概述**
vLLM 是一个快速且易于使用的大型语言模型（LLM）推理和部署库，支持以下核心功能：
- **高性能**：基于 PagedAttention 的高效内存管理和 CUDA/HIP 图加速。
- **灵活性**：支持 HuggingFace 模型、多种解码算法（如平行采样、束搜索）以及张量并行推理。
- **多 GPU 支持**：适用于 NVIDIA 和 AMD GPU。
- **实验性功能**：包括前缀缓存和多 LoRA 支持。

---

#### 2. **安装与环境要求**
- **操作系统**：Linux
- **Python 版本**：3.8-3.11
- **GPU 要求**：计算能力 7.0 或更高（如 V100、T4、A100 等）。
- **安装命令**：

  pip install vllm

---

#### 3. **视觉语言模型（VLM）支持**
- **实验性功能**：目前仅支持单张图片输入，未来将改进用户体验。
- **推理方式**：
- **离线批量推理**：通过 `multi_modal_data` 参数传递图片数据。
- **在线 OpenAI 视觉 API 兼容**：支持通过 HTTP 服务器提供 OpenAI Vision API 兼容的推理服务。
- **示例代码**：

  from PIL import Image
  llm = LLM(model="llava-hf/llava-1.5-7b-hf")
  image = Image.open(...)
  outputs = llm.generate({
      "prompt": "USER: ![]()\nWhat is the content of this image?\nASSISTANT:",
      "multi_modal_data": {"image": image}
  })

---

#### 4. **使用统计与数据收集**
- **数据收集目的**：帮助团队了解常见硬件和模型配置，优化开发优先级。
- **收集内容**：
- 匿名 UUID、硬件配置（如 CPU、GPU）、模型架构、vLLM 版本等。
- 数据不包含敏感信息，且会公开供社区使用。

---

#### 5. **性能与调优**
- **预emption 机制**：当 KV 缓存空间不足时，系统会抢占请求以释放资源。
- 提示：增加 `gpu_memory_utilization` 或减少 `max_num_seqs` 和 `max_num_batched_tokens`。
- **分块预加载（Chunked Prefill）**：
- 支持将大模型的预加载请求分块处理，提升处理大模型的能力。
- 开启方式：`enable_chunked_prefill=True`。

---

#### 6. **环境变量与配置**
文档中提供了多个环境变量，用于优化 vLLM 的运行：
- `VLLM_USE_RAY_COMPILED_DAG`：启用 Ray 优化的 DAG API。
- `VLLM_WORKER_MULTIPROC_METHOD`：指定多进程方法（默认为 `fork`）。
- `VLLM_IMAGE_FETCH_TIMEOUT`：设置图片获取超时时间（默认 5 秒）。
- `VLLM_XLA_CACHE_PATH`：指定 XLA 缓存目录。

---

#### 7. **资源与贡献**
- 提供了多种资源供贡献者参考，包括技术文档和开发者指南。
- 示例包括：前缀解码、Lookahead 调度、批量扩展等技术细节。

---

#### 8. **总结**
vLLM v0.5.1 是一个功能强大的 LLM 推理库，支持多种高级功能（如 VLM、分块预加载、前缀缓存等），但部分功能仍处于实验阶段。用户在使用时需注意 API 的变化和硬件配置要求。