内存分析

模块内容

class vllm.multimodal.profiling.ProcessorInputs(prompt_text: str, mm_data: ~collections.abc.Mapping[str, ~typing.Any | list[typing.Any]], hf_processor_mm_kwargs: ~collections.abc.Mapping[str, object] = <factory>)

表示以下项的关键字参数 vllm.multimodal.processing.BaseMultiModalProcessor.apply()。

class vllm.multimodal.profiling.BaseDummyInputsBuilder(info: _I)

构建用于分析多模态模型的虚拟数据的抽象基类。

abstract get_dummy_processor_inputs(seq_len: int, mm_counts: Mapping[str, int]) → ProcessorInputs

构建输入，该输入在处理后会生成 self.info.get_mm_max_tokens_per_item() 占位符令牌。

class vllm.multimodal.profiling.MultiModalProfiler(processor: BaseMultiModalProcessor[_I])

包含用于运行多模态模型内存分析的代码。