编写单元测试
本页解释了如何编写单元测试来验证您的模型实现。
必需测试¶
这些测试是您的 PR 合并到 vLLM 库所必需的。如果没有它们，您的 PR 的 CI 将会失败。
模型加载¶
在 tests/models/registry.py 中包含您的模型的 HuggingFace 示例仓库。这可以启用一个单元测试来加载虚拟权重，以确保模型可以在 vLLM 中初始化。
警告
每个部分中的模型列表应按字母顺序维护。
提示
如果您的模型需要开发版本的 HF Transformers，您可以设置 min_transformers_version 以在模型发布之前跳过 CI 中的测试。
可选测试¶
这些测试是可选的，但通过它们可以增强对您实现正确性的信心，并有助于避免未来的回归问题。
模型正确性¶
这些测试将 vLLM 的模型输出与 HF Transformers 进行比较。您可以在 tests/models 的子目录下添加新的测试。
生成模型¶
对于 生成模型，有两个级别的正确性测试，定义在 tests/models/utils.py 中：
- 精确正确性 (
check_outputs_equal)：vLLM 输出的文本应与 HF 输出的文本完全匹配。 - Logprobs 相似性 (
check_logprobs_close)：vLLM 输出的 logprobs 应在 HF 输出的 top-k logprobs 中，反之亦然。
池化模型¶
对于 池化模型，我们只需检查余弦相似度，定义在 tests/models/utils.py。
多模态处理¶
通用测试¶
将您的模型添加到 tests/models/multimodal/processing/test_common.py 可以验证以下输入组合是否产生相同的输出：
- 文本 + 多模态数据
- Token + 多模态数据
- 文本 + 缓存多模态数据
- Token + 缓存多模态数据
模型特定测试¶
您可以在 tests/models/multimodal/processing 下添加一个新文件，以运行仅适用于您的模型的测试。
例如，如果您的模型的 HF 处理器接受用户指定的关键字参数，您可以验证这些关键字参数是否被正确应用，例如在 tests/models/multimodal/processing/test_phi3v.py。