使用 Nginx¶
本文档展示了如何启动多个 vLLM 服务容器，并使用 Nginx 作为这些服务器之间的负载均衡器。
构建 Nginx 容器¶
本指南假设您刚刚克隆了 vLLM 项目，并且当前位于 vLLM 的根目录下。
创建一个名为 Dockerfile.nginx 的文件
FROM nginx:latest
RUN rm /etc/nginx/conf.d/default.conf
EXPOSE 80
CMD ["nginx", "-g", "daemon off;"]
构建容器
创建简单的 Nginx 配置文件¶
创建一个名为 nginx_conf/nginx.conf 的文件。请注意，您可以根据需要添加任意数量的服务器。在下面的示例中，我们将从两个开始。要添加更多，请在 upstream backend 中添加另一个 server vllmN:8000 max_fails=3 fail_timeout=10000s; 条目。
配置
upstream backend {
least_conn;
server vllm0:8000 max_fails=3 fail_timeout=10000s;
server vllm1:8000 max_fails=3 fail_timeout=10000s;
}
server {
listen 80;
location / {
proxy_pass http://backend;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
构建 vLLM 容器¶
如果您位于代理后面，可以如下所示将代理设置传递给 docker build 命令
cd $vllm_root
docker build \
-f docker/Dockerfile . \
--tag vllm \
--build-arg http_proxy=$http_proxy \
--build-arg https_proxy=$https_proxy
创建 Docker 网络¶
启动 vLLM 容器¶
注意事项
- 如果您的 HuggingFace 模型缓存位置在其他地方，请更新下方
hf_cache_dir。 - 如果您没有现有的 HuggingFace 缓存，您需要先启动
vllm0，并等待模型下载完成且服务器准备就绪。这将确保vllm1可以利用您刚刚下载的模型，无需再次下载。 - 以下示例假设使用了 GPU 后端。如果您使用 CPU 后端，请删除
--gpus device=ID，添加VLLM_CPU_KVCACHE_SPACE和VLLM_CPU_OMP_THREADS_BIND环境变量到 docker run 命令中。 - 如果您不想使用
Llama-2-7b-chat-hf，请调整您希望在 vLLM 服务器中使用的模型名称。
命令
mkdir -p ~/.cache/huggingface/hub/
hf_cache_dir=~/.cache/huggingface/
docker run \
-itd \
--ipc host \
--network vllm_nginx \
--gpus device=0 \
--shm-size=10.24gb \
-v $hf_cache_dir:/root/.cache/huggingface/ \
-p 8081:8000 \
--name vllm0 vllm \
--model meta-llama/Llama-2-7b-chat-hf
docker run \
-itd \
--ipc host \
--network vllm_nginx \
--gpus device=1 \
--shm-size=10.24gb \
-v $hf_cache_dir:/root/.cache/huggingface/ \
-p 8082:8000 \
--name vllm1 vllm \
--model meta-llama/Llama-2-7b-chat-hf
注意
如果您位于代理后面，可以通过 -e http_proxy=$http_proxy -e https_proxy=$https_proxy 将代理设置传递给 docker run 命令。
启动 Nginx¶
docker run \
-itd \
-p 8000:80 \
--network vllm_nginx \
-v ./nginx_conf/:/etc/nginx/conf.d/ \
--name nginx-lb nginx-lb:latest
验证 vLLM 服务器是否准备就绪¶
两个输出都应该如下所示