快速入门¶

本指南将帮助您快速开始使用 vLLM-Omni 进行

离线批处理推理
使用兼容 OpenAI 的服务器进行在线服务

先决条件¶

操作系统：Linux
Python：3.12

安装¶

请参阅安装

离线推理¶

使用 vLLM-Omni 进行文本到图像生成快速入门

from vllm_omni.entrypoints.omni import Omni

if __name__ == "__main__":
    omni = Omni(model="Tongyi-MAI/Z-Image-Turbo")
    prompt = "a cup of coffee on the table"
    images = omni.generate(prompt)
    images[0].save("coffee.png")

更多用法，请参阅离线推理

使用 OpenAI-Completions API 在线服务¶

请参阅在线服务