跳到内容

CI 故障

当我的 PR 上的 CI 作业失败，但我认为我的 PR 并没有导致失败时，我该怎么做？

  • 查看当前 CI 测试失败的仪表板
    👉 CI Failures Dashboard

  • 如果您的失败 已列出，则很可能与您的 PR 无关。随时欢迎提供修复帮助！

    • 留下评论并附上失败的其他实例链接。
    • 使用 👍 表情符号来表示受影响的人数。

  • 如果您的失败 未列出，则应 提交问题。

提交 CI 测试失败问题

  • 提交 bug 报告
    👉 新的 CI 故障报告

  • 使用此标题格式

    [CI Failure]: failing-test-job - regex/matching/failing:test

  • 对于环境字段

    Still failing on main as of commit abcdef123

  • 在描述中，包含失败的测试

    FAILED failing/test.py:failing_test1 - Failure description
FAILED failing/test.py:failing_test2 - Failure description
https://github.com/orgs/vllm-project/projects/20
https://github.com/vllm-project/vllm/issues/new?template=400-bug-report.yml
FAILED failing/test.py:failing_test3 - Failure description

  • 附加日志 (可折叠部分示例)

    日志

    ERROR 05-20 03:26:38 [dump_input.py:68] Dumping input data
--- Logging error ---  
Traceback (most recent call last):  
  File "/usr/local/lib/python3.12/dist-packages/vllm/v1/engine/core.py", line 203, in execute_model  
    return self.model_executor.execute_model(scheduler_output)
...
FAILED failing/test.py:failing_test1 - Failure description
FAILED failing/test.py:failing_test2 - Failure description
FAILED failing/test.py:failing_test3 - Failure description

整理日志

从 Buildkite 下载完整的日志文件到本地。

去除时间戳和颜色编码

.buildkite/scripts/ci-clean-log.sh

./ci-clean-log.sh ci.log

使用工具 wl-clipboard 进行快速复制粘贴

tail -525 ci_build.log | wl-copy

调查 CI 测试失败

  1. 前往 👉 Buildkite 主分支
  2. 使用二分查找来找到出现问题的第一个构建。
  3. 将您的发现添加到 GitHub 问题中。
  4. 如果您找到了一个强有力的候选 PR，请在问题中提及它并 ping 贡献者。

重现失败

CI 测试失败可能是间歇性的。使用 bash 循环反复运行

.buildkite/scripts/rerun-test.sh

./rerun-test.sh tests/v1/engine/test_engine_core_client.py::test_kv_cache_events[True-tcp]

提交 PR

如果您提交 PR 来修复 CI 故障

  • 将 PR 链接到问题：在 PR 描述中添加 Closes #12345。
  • 添加 ci-failure 标签：这有助于在 CI Failures GitHub Project 中跟踪它。

其他资源

日常分类

使用 Buildkite 分析 (2 天视图) 来

  • 识别 main 分支上最近的测试失败。
  • 排除 PR 上的合法测试失败。
  • (可选) 忽略可靠性为 0% 的测试。

与 CI Failures Dashboard 进行比较。