vLLM 示例

此仓库旨在托管社区维护的常用示例，以回答问题：如何在硬件 Y 上为任务 Z 运行模型 X？

指南

DeepSeek

• DeepSeek-OCR
• DeepSeek-V3.1
• DeepSeek-V3, DeepSeek-R1
• DeepSeek-V3.2-Exp
• DeepSeek-V3.2

Ernie

• Ernie4.5
• Ernie4.5-VL

GLM

• Glyph
• GLM-4.7, GLM-4.6, GLM-4.5, GLM-4.5-Air
• GLM-4.5V, GLM-4.6V

inclusionAI

• Ring-1T-FP8

InternVL

• InternVL3.5

InternLM

• Intern-S1

Jina AI

• Jina-reranker-m0

Llama

• Llama4-Scout
• Llama3.3-70B
• Llama3.1

MiniMax

• MiniMax-M2.1, MiniMax-M2

Xiaomi MiMo

• MiMo-V2-Flash

Mistral AI

• Ministral-3-Instruct
• Ministral-3-Reasoning
• Mistral-Large-3-Instruct

Moonshotai

• Kimi-K2
• Kimi-K2-Think
• Kimi-Linear

NVIDIA

• Nemotron-3-Nano-30B-A3B
• Nemotron-Nano-12B-v2-VL

OpenAI

• gpt-oss

PaddlePaddle

• PaddleOCR-VL

Qwen

• Qwen3
• Qwen3-VL
• Qwen3-Next
• Qwen3-Coder-480B-A35B
• Qwen2.5-VL
• Qwen3Guard-Gen

Seed

• Seed-OSS-36B

Tencent-Hunyuan

• HunyuanOCR

贡献

欢迎通过添加新示例或改进现有示例来贡献，请发送 PR！

虽然该仓库设计为可以直接在 GitHub 中查看（Markdown 文件为第一公民），但您也可以在本地将文档构建为网页。

uv venv
source .venv/bin/activate
uv pip install -r requirements.txt
uv run mkdocs serve

许可证

本项目根据 Apache License 2.0 许可，详情请参阅 LICENSE 文件。