多模态#

vLLM 通过 vllm.multimodal 包提供对多模态模型的实验性支持。

多模态输入可以与文本和 token 提示一起传递给 支持的模型,通过 multi_modal_data 字段在 vllm.inputs.PromptType 中。

想要添加您自己的多模态模型?请按照 此处 列出的说明进行操作。

模块内容#

vllm.multimodal.MULTIMODAL_REGISTRY = <vllm.multimodal.registry.MultiModalRegistry object>[source]#

全局 MultiModalRegistry 由模型运行器使用,以根据目标模型分派数据处理。

另请参阅

多模态数据处理

子模块#