Anything LLM

Anything LLM 是一个全栈应用程序，它使您能够将任何文档、资源或内容片段转化为任何 LLM 在聊天时可作为参考的上下文。

它允许您使用 vLLM 作为后端部署一个大型语言模型 (LLM) 服务器，该服务器暴露 OpenAI 兼容的端点。

前提条件

• 设置 vLLM 环境

部署

• 使用支持的聊天补全模型启动 vLLM 服务器，例如：

vllm serve Qwen/Qwen1.5-32B-Chat-AWQ --max-model-len 4096

• 下载并安装 Anything LLM 桌面版。

• 在左下角打开设置，AI Prooviders --> LLM

• LLM 提供者：通用 OpenAI
• Base URL: http://{vllm server host}:{vllm server port}/v1
• 聊天模型名称：Qwen/Qwen1.5-32B-Chat-AWQ

• 返回首页，新建工作区 (New Workspace) --> 创建 vllm 工作区 (vllm workspace)，然后开始聊天

• 点击上传按钮
• 上传文档
• 选择文档并移至工作区
• 保存并嵌入

• 再次聊天