vLLM Recipes

本仓库旨在托管社区维护的通用配置，用于回答“**如何在硬件Y上运行模型X以完成任务Z？**”这个问题。

指南

DeepSeek

• DeepSeek-OCR
• DeepSeek-V3.1
• DeepSeek-V3, DeepSeek-R1
• DeepSeek-V3.2-Exp
• DeepSeek-V3.2

Ernie

• Ernie4.5
• Ernie4.5-VL

GLM

• Glyph
• GLM-4.7, GLM-4.6, GLM-4.5, GLM-4.5-Air
• GLM-4.5V, GLM-4.6V

inclusionAI

• Ring-1T-FP8

InternVL

• InternVL3.5

InternLM

• Intern-S1

Jina AI

• Jina-reranker-m0

Llama

• Llama4-Scout
• Llama3.3-70B
• Llama3.1

MiniMax

• MiniMax-M2.1, MiniMax-M2

Xiaomi MiMo

• MiMo-V2-Flash

Mistral AI

• Ministral-3-Instruct
• Ministral-3-Reasoning
• Mistral-Large-3-Instruct

Moonshotai

• Kimi-K2
• Kimi-K2-Think
• Kimi-Linear

NVIDIA

• Nemotron-3-Nano-30B-A3B
• Nemotron-Nano-12B-v2-VL

OpenAI

• gpt-oss

PaddlePaddle

• PaddleOCR-VL

Qwen

• Qwen3
• Qwen3-VL
• Qwen3-Next
• Qwen3-Coder-480B-A35B
• Qwen2.5-VL
• Qwen3Guard-Gen

Seed

• Seed-OSS-36B

Tencent-Hunyuan

• HunyuanOCR

贡献

请随时通过提交PR来贡献新的配置或改进现有配置！

本仓库设计为可以直接在GitHub上查看（Markdown文件为首要），您也可以在本地将文档构建为网页。

uv venv
source .venv/bin/activate
uv pip install -r requirements.txt
uv run mkdocs serve

许可证

本项目采用 Apache License 2.0 许可 - 详情请参阅 LICENSE 文件。