兼容性矩阵

下表显示了互斥的特性以及在某些硬件上的支持情况。

所使用的符号具有以下含义

• ✅ = 完全兼容
• 🟠 = 部分兼容
• ❌ = 不兼容
• ❔ = 未知或待定

注意

请查看带链接的 ❌ 或 🟠 符号，以了解不支持的特性/硬件组合的跟踪问题。

特性 x 特性

功能	CP	APC	LoRA	SD	CUDA 图	池化	编解码	logP	提示 logP	异步输出	多步	mm	最佳选择	束搜索
CP	✅
APC	✅	✅
LoRA	✅	✅	✅
SD	✅	✅	❌	✅
CUDA 图	✅	✅	✅	✅	✅
池化	❌	❌	❌	❌	❌	✅
编解码	❌	❌	❌	❌	✅	✅	✅
logP	✅	✅	✅	✅	✅	❌	✅	✅
提示 logP	✅	✅	✅	✅	✅	❌	✅	✅	✅
异步输出	✅	✅	✅	❌	✅	❌	❌	✅	✅	✅
多步	❌	✅	❌	❌	✅	❌	❌	✅	✅	✅	✅
mm	✅	🟠	🟠	❔	✅	✅	✅	✅	✅	✅	❔	✅
最佳选择	✅	✅	✅	❌	✅	❌	✅	✅	✅	❔	❌	✅	✅
束搜索	✅	✅	✅	❌	✅	❌	✅	✅	✅	❔	❌	❔	✅	✅

特性 x 硬件

功能	Volta	Turing	Ampere	Ada	Hopper	CPU	AMD	TPU
CP	❌	✅	✅	✅	✅	✅	✅	✅
APC	❌	✅	✅	✅	✅	✅	✅	✅
LoRA	✅	✅	✅	✅	✅	✅	✅	✅
SD	✅	✅	✅	✅	✅	✅	✅	❌
CUDA 图	✅	✅	✅	✅	✅	❌	✅	❌
池化	✅	✅	✅	✅	✅	✅	❔	❌
编解码	✅	✅	✅	✅	✅	✅	❌	❌
mm	✅	✅	✅	✅	✅	✅	✅	❌
logP	✅	✅	✅	✅	✅	✅	✅	❌
提示 logP	✅	✅	✅	✅	✅	✅	✅	❌
异步输出	✅	✅	✅	✅	✅	❌	❌	❌
多步	✅	✅	✅	✅	✅	❌	✅	❌
最佳选择	✅	✅	✅	✅	✅	✅	✅	❌
束搜索	✅	✅	✅	✅	✅	✅	✅	❌

注意

请参考 通过 NxD 推理后端支持的特性 以了解 AWS Neuron 硬件上支持的特性