内存分析

模块内容

class vllm.multimodal.profiling.ProcessorInputs(prompt_text: str, mm_data: ~collections.abc.Mapping[str, ~typing.Any | list[typing.Any]], hf_processor_mm_kwargs: ~collections.abc.Mapping[str, object] = <factory>)

表示 vllm.multimodal.processing.BaseMultiModalProcessor.apply() 的关键词参数。

class vllm.multimodal.profiling.DummyEncoderData(prompt_token_ids: list[int])

用于性能分析的虚拟数据。

prompt_token_ids: list[int]

字段编号 0 的别名

class vllm.multimodal.profiling.DummyDecoderData(prompt_token_ids: list[int], multi_modal_data: MultiModalKwargs, multi_modal_placeholders: Mapping[str, Sequence[PlaceholderRange]])

用于性能分析的虚拟数据。

prompt_token_ids: list[int]

字段编号 0 的别名

multi_modal_data: MultiModalKwargs

字段编号 1 的别名

multi_modal_placeholders: Mapping[str, Sequence[PlaceholderRange]]

字段编号 2 的别名

class vllm.multimodal.profiling.BaseDummyInputsBuilder(info: _I)

用于构建虚拟数据以分析多模态模型的抽象基类。

abstract get_dummy_processor_inputs(seq_len: int, mm_counts: Mapping[str, int]) → ProcessorInputs

构建输入，该输入在处理后，会产生最大可能数量的占位符令牌。

class vllm.multimodal.profiling.MultiModalProfiler(processor: BaseMultiModalProcessor[_I])

包含用于运行多模态模型内存分析的代码。