Glyph 用法指南

简介

Glyph 是智谱 AI 的一个框架，通过视觉-文本压缩来扩展上下文长度。它将长文本序列渲染成图像，并使用视觉-语言模型进行处理。在本指南中，我们将演示如何使用 vLLM 部署 zai-org/Glyph 模型，作为该框架中图像理解任务的关键组件。

安装 vLLM

uv venv
source .venv/bin/activate
uv pip install -U vllm --torch-backend auto

部署 Glyph

vllm serve zai-org/Glyph \
    --no-enable-prefix-caching \
    --mm-processor-cache-gb 0 \
    --reasoning-parser glm45 \
    --limit-mm-per-prompt.video 0

配置技巧

• zai-org/Glyph 本身就是一个推理多模态模型，因此我们建议使用 --reasoning-parser glm45 来解析模型输出中的推理轨迹。
• 与多轮聊天用例不同，我们不期望 OCR 任务能从前缀缓存或图像重用中显著受益，因此建议关闭这些功能以避免不必要的哈希和缓存。
• 根据您的硬件能力，调整 max_num_batched_tokens 以获得更好的吞吐量性能。
• 有关在端到端 Glyph 框架中使用 vLLM 部署的更多详细信息，请查看 官方 Glyph 文档。