vLLM v0.6.0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.vllm.ai

摘要

文档介绍了vLLM v0.6.0的功能和配置，包括插件加载、使用统计收集、缓存策略、基准测试、采样参数以及模型添加指南。vLLM支持多种硬件和模型架构，通过PagedAttention和分批处理优化性能，提供高效的KV缓存管理策略，并支持多种量化技术以提升推理效率。

AI总结

# vLLM 项目文档总结

## 1. 核心功能与特性
- **快速推理**：支持高效的LLM推理，采用PagedAttention技术，提升内存管理和计算效率。
- **多样化支持**：支持多种硬件（NVIDIA GPU、AMD GPU/CPU、Intel CPU/GPU、TPU、AWS Neuron）及多种模型架构。
- **灵活的解码算法**：支持并行采样、束搜索、Tensor并行和Pipeline并行等。
- **高效内存管理**：通过PagedAttention和KV缓存技术优化内存使用，提升吞吐量。
- **多LoRA支持**：支持多个LoRA适配器的联合缓存管理，提升缓存效率。
- **多模态支持**：支持不同输入模态（如图像）的缓存策略。

## 2. 配置与环境变量
- **插件加载**：通过`VLLM_PLUGINS`环境变量控制插件加载。
- **性能分析**：`VLLM_TORCH_PROFILER_DIR`用于指定Torch性能分析器的输出目录。
- **量化支持**：`VLLM_USE_TRITON_AWQ`启用Triton的AWQ量化支持。
- **缓存管理**：支持CPU和GPU的KV缓存空间配置，如`VLLM_CPU_KVCACHE_SPACE`和`VLLM_OPENVINO_KVCACHE_SPACE`。

## 3. 使用统计收集
- **数据收集目的**：收集匿名使用数据，帮助开发团队了解硬件和模型配置的使用情况。
- **数据内容**：包括UUID、硬件信息（CPU/GPU）、模型架构、版本号、缓存使用情况等。
- **隐私说明**：数据透明且无敏感信息，定期公开以供社区使用。

## 4. 缓存策略
- **KV缓存机制**：通过哈希表管理KV块，支持跨请求缓存，提升计算效率。
- **驱逐策略**：
- 优先驱逐无引用计数的KV块。
- 多个无引用计数块时，优先驱逐最近未使用的块。
- 访问时间相同则优先驱逐最长前缀末尾的块。
- **多LoRA支持**：通过哈希值包含LoRA ID，实现多适配器的联合缓存管理。
- **多模态支持**：针对不同输入模态（如图像）使用不同的哈希方法。

## 5. 基准测试
- **性能基准**：定期在高频率下测试vLLM的性能，展示最新结果。
- **夜间基准**：在重大更新时，与TGI、TRT-LLM和LMDeploy等进行对比测试。
- **触发条件**：通过提交带有`perf-benchmarks`和`nightly-benchmarks`标签的PR触发。

## 6. 采样参数
- **参数说明**：支持OpenAI API的采样参数，如`temperature`、`top_p`、`top_k`等，同时增加了`use_beam_search`功能。
- **参数细节**：
- `n`：生成输出序列的数量。
- `best_of`：从生成的序列中选择前`n`个最优结果。
- `temperature`：控制输出的随机性，值越低越确定。
- `top_p`：考虑概率最高的前`p`个token。

## 7. 模型集成
- **测试级别**：
1. 严格一致性测试：与HuggingFace Transformers库的输出进行对比。
2. 输出合理性测试：检查输出的连贯性和困惑度。
3. 运行时功能测试：验证模型是否能正常加载和运行。
4. 社区反馈：依赖社区提供模型的使用反馈和修复。
- **添加新模型**：
- 提供分步指南，支持现有架构的模型快速集成。
- 对于新架构模型，需处理新的运算符或组件。
- 支持多模态输入的扩展。

## 8. 安装与依赖
- **系统要求**：
- 操作系统：Linux
- Python版本：3.8-3.12
- GPU计算能力：7.0或更高（如V100、T4、A100等）。
- **安装方式**：
- 推荐使用conda创建独立环境，安装vLLM及其依赖。
- 提供预编译的二进制文件，支持CUDA 12.1和11.8版本。

## 9. 开发与贡献
- **社区协作**：鼓励社区参与模型测试、反馈和修复，共同维护和扩展vLLM的生态。
- **问题支持**：提供GitHub仓库用于报告问题和提交PR，社区和核心团队共同推动改进。

## 总结
vLLM 是一个高效、灵活且易于使用的大型语言模型推理和部署库，支持多种硬件平台和模型架构，具备强大的缓存管理和性能优化能力。通过社区协作和灵活的配置选项，vLLM 为开发者提供了高效的LLM推理解决方案。