多模态#

vLLM 通过 vllm.multimodal 包提供对多模态模型的实验性支持。

多模态输入可以与文本和 token 提示一起传递给 支持的模型,通过 vllm.inputs.PromptType 中的 multi_modal_data 字段。

想要添加您自己的多模态模型?请按照这里列出的说明进行操作。

模块内容#

vllm.multimodal.MULTIMODAL_REGISTRY = <vllm.multimodal.registry.MultiModalRegistry object>[source]#

全局 MultiModalRegistry 被模型运行器用于根据目标模型分派数据处理。

另请参阅

多模态数据处理

子模块#