Anything LLM

Anything LLM 是一个全栈应用程序，它可以将任何文档、资源或内容转化为上下文，供任何大语言模型（LLM）在聊天时用作参考。

它允许您将 vLLM 作为后端部署大型语言模型 (LLM) 服务器，该服务器公开与 OpenAI 兼容的端点。

先决条件

• 设置 vLLM 环境

部署

• 启动支持聊天完成模型的 vLLM 服务器，例如

vllm serve Qwen/Qwen1.5-32B-Chat-AWQ --max-model-len 4096

• 下载并安装 Anything LLM 桌面版。

• 在左下角打开设置，AI 提供商 --> LLM

• LLM 提供商：通用 OpenAI
• 基础 URL：http://{vllm server host}:{vllm server port}/v1
• 聊天模型名称：Qwen/Qwen1.5-32B-Chat-AWQ

• 返回主页，新建工作区 --> 创建 vllm 工作区，并开始聊天

• 点击上传按钮
• 上传文档
• 选择文档并将其移至工作区
• 保存并嵌入

• 再次聊天