Chatbox
Chatbox 是一款适用于 LLM 的桌面客户端，可在 Windows、Mac、Linux 上使用。
它允许您部署一个大型语言模型 (LLM) 服务器，使用 vLLM 作为后端，并暴露 OpenAI 兼容的端点。
先决条件¶
- 设置 vLLM 环境
部署¶
- 启动 vLLM 服务器并使用支持的聊天完成模型，例如：
-
下载并安装 Chatbox 桌面客户端。
-
在设置的左下方，添加自定义提供者
- API 模式：
OpenAI API 兼容 - 名称：vllm
- API 主机：
http://{vllm server host}:{vllm server port}/v1 - API 路径：
/chat/completions - 模型：
qwen/Qwen1.5-0.5B-Chat
- 前往
Just chat，然后开始聊天
