Qwen3-Coder-30B-A3B

Qwen3-Coder-30B-A3B#

简介#

新发布的 Qwen3-Coder-30B-A3B 采用了稀疏 MoE 架构，可实现高效的训练和推理，在智能体编码、长达 1M token 的扩展上下文支持以及多功能函数调用方面实现了显著优化。

本文档将展示模型的主要验证步骤，包括支持的功能、功能配置、环境准备、单节点部署以及准确性和性能评估。

支持的特性#

请参阅 支持的特性 获取模型的特性支持矩阵。

请参阅 特性指南 获取特性的配置方法。

环境准备#

模型权重#

Qwen3-Coder-30B-A3B-Instruct (BF16 版本)：需要 1 个 Atlas 800 A3 节点（配备 16x 64G NPU）或 1 个 Atlas 800 A2 节点（配备 8x 64G/32G NPU）。 下载模型权重

建议将模型权重下载到多节点的共享目录中，例如 /root/.cache/

安装#

Qwen3-Coder 首次支持于 vllm-ascend:v0.10.0rc1，请使用更新的版本运行此模型。

您可以使用我们的官方 Docker 镜像直接运行 Qwen3-Coder-30B-A3B-Instruct。

# Update the vllm-ascend image
export IMAGE=quay.io/ascend/vllm-ascend:v0.11.0rc1
docker run --rm \
--name vllm-ascend \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-p 8000:8000 \
-it $IMAGE bash

此外，如果您不想使用上述Docker镜像，也可以从源码构建。

  • 从源码安装 vllm-ascend，请参考 安装。

部署#

单节点部署#

运行以下脚本执行在线推理。

对于配备 64GB NPU 显存的 Atlas A2，张量并行大小（tensor-parallel-size）应至少为 2；对于 32GB 显存，张量并行大小应至少为 4。

#!/bin/sh
export VLLM_USE_MODELSCOPE=true

vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct --served-model-name qwen3-coder --tensor-parallel-size 4 --enable_expert_parallel

功能验证#

服务器启动后，您可以用输入提示查询模型

curl https://:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "qwen3-coder",
  "messages": [
    {"role": "user", "content": "Give me a short introduction to large language models."}
  ],
  "temperature": 0.6,
  "top_p": 0.95,
  "top_k": 20,
  "max_tokens": 4096
}'

精度评估#

使用 AISBench#

  1. 详情请参阅使用 AISBench。

  2. 执行后，您将获得结果。以下是 vllm-ascend:0.11.0rc0 中 Qwen3-Coder-30B-A3B-Instruct 的结果，仅供参考。

数据集

version

指标

模式

vllm-api-general-chat

openai_humaneval

f4a973

humaneval_pass@1

gen

94.51

性能#

使用 AISBench#

详情请参阅使用 AISBench 进行性能评估。

目录