NVIDIA Dynamo¶
NVIDIA Dynamo 是一个用于分布式大模型（LLM）推理的开源框架，支持在 Kubernetes 上运行 vLLM，并具备灵活的服务架构（例如：聚合/解耦模式、可选的路由器/规划器）。
有关 Kubernetes 部署指南和示例（包括 vLLM），请参阅在 Kubernetes 上部署 Dynamo 指南。
背景阅读：InfoQ 新闻报道 — NVIDIA Dynamo 简化了大模型推理的 Kubernetes 部署。
NVIDIA Dynamo 是一个用于分布式大模型（LLM）推理的开源框架，支持在 Kubernetes 上运行 vLLM，并具备灵活的服务架构（例如：聚合/解耦模式、可选的路由器/规划器）。
有关 Kubernetes 部署指南和示例（包括 vLLM），请参阅在 Kubernetes 上部署 Dynamo 指南。
背景阅读：InfoQ 新闻报道 — NVIDIA Dynamo 简化了大模型推理的 Kubernetes 部署。