结构化输出指南

概述

什么是结构化输出？

当您需要特定格式的输出时，大型语言模型（LLMs）可能会出现不可预测的情况。想象一下，在没有指导的情况下要求模型生成 JSON，它可能会生成有效的文本，但却违反了 JSON 规范。结构化输出（也称为引导解码）使大型语言模型能够生成遵循所需结构的输出，同时保留系统的非确定性。

简单来说，结构化解码为大型语言模型提供了一个“模板”来遵循。用户提供一个“影响”模型输出的模式，以确保符合所需的结构。

在 vllm-ascend 中的用法

目前，vllm-ascend 中结构化输出特性的用法与 vllm 中的用法完全相同。

有关这些用法的更多示例和解释，请参阅 vLLM 官方文档。