Chatbox

Chatbox 是一款适用于 LLM 的桌面客户端，支持 Windows、Mac 和 Linux。

它允许您将 vLLM 作为后端部署大型语言模型 (LLM) 服务器，该服务器公开与 OpenAI 兼容的端点。

先决条件

设置 vLLM 环境

pip install vllm

部署

1. 启动支持聊天完成模型的 vLLM 服务器，例如

   vllm serve qwen/Qwen1.5-0.5B-Chat
   

2. 下载并安装 Chatbox 桌面版。

3. 在设置页面的左下角，点击“添加自定义模型提供商”（Add Custom Provider）

   • API 模式：OpenAI API Compatible
   • 名称：vllm
   • API 域名：http://{vllm 服务器主机}:{vllm 服务器端口}/v1
   • API 路径：/chat/completions
   • 模型：qwen/Qwen1.5-0.5B-Chat

   

4. 前往 对话 页面，即可开始聊天