已验证模型

以下配置已验证可与 Intel® Gaudi® 2 和 Intel® Gaudi® 3 AI 加速器配合使用，支持随机或贪婪采样。未列出的配置可能可用，但未经广泛测试。

模型	张量并行 [x HPU]	数据类型	已验证的 AI 加速器
meta-llama/Meta-Llama-3.1-8B-Instruct	1	BF16, FP8	Gaudi 2, Gaudi 3
meta-llama/Meta-Llama-3.1-70B-Instruct	2, 4, 8	BF16, FP8, FP16 (Gaudi 2)	Gaudi 2, Gaudi 3
meta-llama/Meta-Llama-3.1-405B-Instruct	8	BF16, FP8	Gaudi 3
meta-llama/Meta-Llama-3.3-70B-Instruct	4	BF16, FP8	Gaudi 3
meta-llama/Granite-3B-code-instruct-128k	1	BF16	Gaudi 3
meta-llama/Granite-8B-code-instruct-128k	1	BF16	Gaudi 3
meta-llama/Granite-3.1-8B-instruct	1	BF16, FP8	Gaudi 2, Gaudi 3
meta-llama/Granite-20B-code-instruct-8k	1	BF16, FP8	Gaudi 2, Gaudi 3
meta-llama/Granite-34B-code-instruc-8k	1	BF16	Gaudi 3
mistralai/Mistral-Large-Instruct-2407	1, 4	BF16	Gaudi 3
mistralai/Mixtral-8x7B-Instruct-v0.1	2	FP8, BF16	Gaudi 2, Gaudi 3
meta-llama/CodeLlama-34b-Instruct-hf	1	BF16	Gaudi 3
Qwen/Qwen3-30B-A3B-Instruct	8	BF16	Gaudi 3

以下配置的验证正在进行中

模型	张量并行 [x HPU]	数据类型	已验证的 AI 加速器
meta-llama/Meta-Llama-3-8B	1, 2, 8	BF16	Gaudi 2, Gaudi 3
meta-llama/Meta-Llama-3-8B-Instruct	1, 2, 8	BF16	Gaudi 2, Gaudi 3
meta-llama/Meta-Llama-3-70B	8	BF16	Gaudi 2, Gaudi 3
meta-llama/Meta-Llama-3-70B-Instruct	8	BF16	Gaudi 2, Gaudi 3
meta-llama/Meta-Llama-3.1-8B	1	BF16, FP8, INT4, FP16 (Gaudi 2)	Gaudi 2, Gaudi 3
meta-llama/Meta-Llama-3.1-70B	2, 4, 8	BF16, FP8, INT4	Gaudi 2, Gaudi 3
meta-llama/Meta-Llama-3.1-405B	8	BF16, FP8	Gaudi 3
meta-llama/Meta-Llama-3.3-70B	4	BF16, FP8	Gaudi 3
mistralai/Mistral-7B-Instruct-v0.3	1, 2	BF16	Gaudi 2
llava-hf/llava-1.5-7b-hf	1, 8	BF16	Gaudi 2, Gaudi 3
princeton-nlp/gemma-2-9b-it-SimPO	1	BF16	Gaudi 2, Gaudi 3
Qwen/Qwen2-72B-Instruct	8	BF16	Gaudi 2
Qwen/Qwen2.5-72B-Instruct	8	BF16	Gaudi 2
deepseek-ai/DeepSeek-R1	8	FP8, BF16	Gaudi 2, Gaudi 3