数据解析

模块内容

class vllm.multimodal.parse.ModalityDataItems(data: _T, modality: str)

表示 MultiModalDataItems 中模态的数据项。

abstract get_count() → int

获取数据项的数量。

abstract get(index: int) → _I

通过索引获取数据项。

get_all() → list[_I]

获取所有数据项。

abstract get_processor_data() → Mapping[str, object]

获取要传递给 HF 处理器的数据。

abstract get_passthrough_data() → Mapping[str, object]

获取要直接传递给模型的数据。

class vllm.multimodal.parse.ProcessorBatchItems(data: _T, modality: str)

以列表形式排列的数据项的基类。

get_count() → int

获取数据项的数量。

get(index: int) → _T

通过索引获取数据项。

get_processor_data() → Mapping[str, object]

获取要传递给 HF 处理器的数据。

get_passthrough_data() → Mapping[str, object]

获取要直接传递给模型的数据。

class vllm.multimodal.parse.EmbeddingItems(data: _T, modality: str)

数据项的基类，这些数据项表示为批处理的嵌入张量，或嵌入张量列表（每个项一个）。

get_count() → int

获取数据项的数量。

get(index: int) → torch.Tensor

通过索引获取数据项。

get_processor_data() → Mapping[str, object]

获取要传递给 HF 处理器的数据。

get_passthrough_data() → Mapping[str, object]

获取要直接传递给模型的数据。

class vllm.multimodal.parse.DictEmbeddingItems(data: Mapping[str, torch.Tensor], modality: str, required_fields: set[str], fields_factory: Callable[[Mapping[str, torch.Tensor]], Mapping[str, MultiModalFieldConfig]])

数据项的基类，这些数据项表示为张量字典。

通常，字典键对应于 HF 处理器的输出。

get_count() → int

获取数据项的数量。

get(index: int) → Mapping[str, torch.Tensor]

通过索引获取数据项。

get_processor_data() → Mapping[str, object]

获取要传递给 HF 处理器的数据。

get_passthrough_data() → Mapping[str, object]

获取要直接传递给模型的数据。

class vllm.multimodal.parse.AudioProcessorItems(data: Sequence[list[float] | numpy.ndarray | torch.Tensor])

class vllm.multimodal.parse.AudioEmbeddingItems(data: torch.Tensor | list[torch.Tensor])

class vllm.multimodal.parse.ImageSize(width, height)

width: int

字段编号 0 的别名

height: int

字段编号 1 的别名

class vllm.multimodal.parse.ImageProcessorItems(data: Sequence[Image | numpy.ndarray | torch.Tensor])

class vllm.multimodal.parse.ImageEmbeddingItems(data: torch.Tensor | list[torch.Tensor])

class vllm.multimodal.parse.VideoProcessorItems(data: Sequence[list[PIL.Image.Image] | numpy.ndarray | torch.Tensor | list[numpy.ndarray] | list[torch.Tensor]])

class vllm.multimodal.parse.VideoEmbeddingItems(data: torch.Tensor | list[torch.Tensor])

class vllm.multimodal.parse.MultiModalDataItems(dict=None, /, **kwargs)

如同 MultiModalDataDict，但已标准化，使得每个条目都对应一个列表。

get_count(modality: str, *, strict: bool = True) → int

获取属于某种模态的数据项的数量。

如果 strict=False，即使未找到模态，也返回 0 而不是引发 KeyError。

get_all_counts() → Mapping[str, int]

获取属于每种模态的项目数量。

get_items(modality: str, typ: type[_D] | tuple[type[_D], ...]) → _D

获取属于某种模态的数据项，要求它们属于特定类型。

class vllm.multimodal.parse.MultiModalDataParser(*, target_sr: float | None = None)

将 MultiModalDataDict 解析为 MultiModalDataItems。

参数:

target_sr (float, 可选) – 启用音频项自动重采样到模型期望的采样率。