功能特性

兼容性矩阵

下表显示了互斥功能以及对某些硬件的支持情况。

使用的符号具有以下含义

• ✅ = 完全兼容
• 🟠 = 部分兼容
• ❌ = 不兼容
• ❔ = 未知或待定

注意

检查带有链接的 ❌ 或 🟠，以查看不受支持的功能/硬件组合的跟踪问题。

功能 x 功能

功能	CP	APC	LoRA	SD	CUDA graph	pooling	enc-dec	logP	提示 logP	异步输出	多步	mm	最佳	集束搜索	提示嵌入
CP	✅
APC	✅	✅
LoRA	✅	✅	✅
SD	✅	✅	❌	✅
CUDA graph	✅	✅	✅	✅	✅
pooling	🟠*	🟠*	✅	❌	✅	✅
enc-dec	❌	❌	❌	❌	✅	✅	✅
logP	✅	✅	✅	✅	✅	❌	✅	✅
提示 logP	✅	✅	✅	✅	✅	❌	✅	✅	✅
异步输出	✅	✅	✅	❌	✅	❌	❌	✅	✅	✅
多步	❌	✅	❌	❌	✅	❌	❌	✅	✅	✅	✅
mm	✅	✅	🟠^	❔	✅	✅	✅	✅	✅	✅	❔	✅
最佳	✅	✅	✅	❌	✅	❌	✅	✅	✅	❔	❌	✅	✅
集束搜索	✅	✅	✅	❌	✅	❌	✅	✅	✅	❔	❌	❔	✅	✅
提示嵌入	✅	✅	✅	❌	✅	❌	❌	✅	❌	❔	❔	✅	❔	❔	✅

* 分块预填充和前缀缓存仅适用于因果注意力下的末尾 token 或所有 token 池化。
^{^} LoRA 仅适用于多模态模型的语言骨干部分。

功能 x 硬件

功能	Volta	Turing	Ampere	Ada	Hopper	CPU	AMD	Intel GPU
CP	❌	✅	✅	✅	✅	✅	✅	✅
APC	❌	✅	✅	✅	✅	✅	✅	✅
LoRA	✅	✅	✅	✅	✅	✅	✅	✅
SD	✅	✅	✅	✅	✅	❌	✅	✅
CUDA graph	✅	✅	✅	✅	✅	❌	✅	❌
pooling	✅	✅	✅	✅	✅	✅	✅	✅
enc-dec	✅	✅	✅	✅	✅	✅	❌	✅
mm	✅	✅	✅	✅	✅	✅	✅	✅
提示嵌入	✅	✅	✅	✅	✅	✅	❔	✅
logP	✅	✅	✅	✅	✅	✅	✅	✅
提示 logP	✅	✅	✅	✅	✅	✅	✅	✅
异步输出	✅	✅	✅	✅	✅	❌	❌	✅
多步	✅	✅	✅	✅	✅	❌	✅	✅
最佳	✅	✅	✅	✅	✅	✅	✅	✅
集束搜索	✅	✅	✅	✅	✅	✅	✅	✅

注意

有关 Google TPU 上的功能支持信息，请参阅TPU 推理推荐模型和功能文档。