Chatbox¶
Chatbox 是适用于LLM的桌面客户端，可在Windows、Mac、Linux上使用。
它允许您将 vLLM 作为后端部署大型语言模型 (LLM) 服务器，该服务器公开与 OpenAI 兼容的端点。
先决条件¶
- 设置 vLLM 环境
部署¶
- 启动支持聊天完成模型的 vLLM 服务器，例如
-
下载并安装Chatbox桌面版。
-
在设置左下角，添加自定义提供商
- API模式：
OpenAI API Compatible - 名称：vllm
- API主机：
http://{vllm server host}:{vllm server port}/v1 - API路径：
/chat/completions - 模型：
qwen/Qwen1.5-0.5B-Chat
- 前往
Just chat，然后开始聊天
