示例¶ vLLM 的示例分为三类 如果您要在 Python 代码中使用 vLLM,请参阅 离线推理 (Offline Inference) 部分。 如果您要通过 HTTP 应用程序或客户端使用 vLLM,请参阅 在线服务 (Online Serving) 部分。 对于 vLLM 一些高级功能(例如 LMCache 或 Tensorizer)的示例,如果它们不特定于上述任何一种用例,请参阅 其他 (Others) 部分。