vLLM 快速入门指南：Llama 3.1¶

简介¶

本快速入门指南提供了使用 vLLM 运行 Llama 3.1 Instruct 模型的分步说明。本指南面向寻求在目标加速堆栈上实现高吞吐量或低延迟推理的开发人员和实践者。