跳到内容
vLLM 硬件插件（Intel® Gaudi®）
kv_connector
正在初始化搜索
Intel® Gaudi® 的 vLLM 硬件插件
入门
入门
概述
快速入门
安装
发布说明
兼容性矩阵
已验证模型
配置指南
配置指南
环境变量
长上下文配置
校准
量化与推理
性能调优
流水线并行
热身
功能
功能
支持的功能
分桶机制
浮点 8 位
热身
开发者指南
开发者指南
插件系统
CI 失败
分析
API 参考
API 参考
摘要
内容
目录
envs
vllm_gaudi
平台
utils
attention
distributed
distributed
distributed
device_communicators
kv_transfer
kv_transfer
kv_transfer
kv_connector
kv_connector
kv_connector
v1
extension
models
ops
v1
故障排除
常见问题
vllm_gaudi.distributed.kv_transfer.kv_connector
¶
模块
名称
描述
v1