vLLM v0.6.2 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.vllm.ai

摘要

文档介绍了vLLM，一个快速且易于使用的库，用于大语言模型（LLM）的推理和部署。vLLM以其高效的推理性能和对多种硬件的支持而闻名，包括NVIDIA、AMD、Intel等。它支持多种采样算法和量化技术（如GPTQ、AWQ等），并提供对多模态模型的支持。文档还详细说明了如何使用vLLM进行离线推理、批量处理和部署为OpenAI兼容的服务器。

AI总结

### vLLM v0.6.2 文档总结

#### 1. 概述
vLLM 是一个快速且易于使用的库，用于大语言模型（LLM）的推理和部署。其主要特点包括：
- **高性能**：支持高效的注意力机制（如 PagedAttention）、连续批处理和 CUDA/HIP 图优化。
- **多设备支持**：支持 NVIDIA、AMD、Intel、PowerPC、TPU 和 AWS Trainium 等硬件。
- **灵活易用**：支持 HuggingFace 模型、多种解码算法（如平行采样、束搜索）以及分布式推理（如张量并行和管道并行）。

#### 2. 核心功能
- **高效推理**：
- 状态-of-the-art 服务吞吐量。
- 量化支持：GPTQ、AWQ、INT4、INT8 和 FP8。
- 支持流式输出和断言解码。

- **模型支持**：
- 支持多种语言模型，如 OPT-125M。
- 实验性支持视觉语言模型（VLM），包括多图像输入和视频处理。

- **OpenAI 兼容性**：
- 提供 OpenAI API 的兼容接口，可作为 OpenAI 的替代方案。
- 支持自定义聊天模板。

#### 3. 主要功能模块
- **采样参数（Sampling Parameters）**：
- 提供与 OpenAI 类似的采样参数，如温度（temperature）、Top-p 和 Top-k 等。
- 支持束搜索（beam search）等高级采样算法。

- **离线推理**：
- 支持批量推理和单样本推理。
- 提供多图像和视频输入的处理能力。

- **性能基准**：
- 通过提交 PR 可触发性能基准测试。
- 最新结果可参考 vLLM GitHub README。

#### 4. 使用场景
- **离线推理**：
- 支持单图像和多图像输入。
- 提供示例代码，展示如何使用 vLLM 进行视觉语言模型的推理。

- **在线服务**：
- 可作为 OpenAI 兼容服务器部署，支持高吞吐量推理。
- 默认运行在 `http://localhost:8000`，支持自定义聊天模板。

#### 5. 其他信息
- **开发与迭代**：
- VLM 支持仍处于实验阶段，可能存在破坏性更新。
- 用户可通过 GitHub 提交反馈和功能请求。

- **性能优化**：
- 通过连续批处理，性能提升显著（如 23 倍吞吐量提升）。

- **赞助与支持**：
- 项目通过 OpenCollective 获得资金支持，用于开发和维护。

总结而言，vLLM 是一个功能强大且灵活的 LLM 推理库，适用于多种场景，包括高性能推理、分布式部署和视觉语言模型支持。