示例

vLLM 的示例分为三类

• 如果您要在 Python 代码中使用 vLLM，请参阅 离线推理 (Offline Inference) 部分。
• 如果您要通过 HTTP 应用程序或客户端使用 vLLM，请参阅 在线服务 (Online Serving) 部分。
• 对于 vLLM 一些高级功能（例如 LMCache 或 Tensorizer）的示例，如果它们不特定于上述任何一种用例，请参阅 其他 (Others) 部分。