AnythingLLM

AnythingLLM 是一个全栈应用程序，它使您能够将任何文档、资源或内容转化为上下文，供任何 LLM 在聊天时作为参考使用。

它允许您将 vLLM 作为后端部署大型语言模型 (LLM) 服务器，该服务器公开与 OpenAI 兼容的端点。

先决条件

设置 vLLM 环境

pip install vllm

部署

1. 使用支持的聊天补全模型启动 vLLM 服务器，例如

   vllm serve Qwen/Qwen1.5-32B-Chat-AWQ --max-model-len 4096
   

2. 下载并安装 AnythingLLM Desktop。

3. 配置 AI 提供商

   • 在底部，点击 🔧 扳手图标 -> 打开设置 (Open settings) -> AI 提供商 (AI Providers) -> LLM。
   • 输入以下值
     • LLM 提供商 (LLM Provider): Generic OpenAI
     • 基础 URL (Base URL): http://{vllm 服务器主机}:{vllm 服务器端口}/v1
     • 聊天模型名称 (Chat Model Name): Qwen/Qwen1.5-32B-Chat-AWQ

   

4. 创建工作区

   1. 在底部，点击 ↺ 返回图标并回到工作区界面。
   2. 创建一个工作区（例如 vllm）并开始聊天。

   

5. 添加文档。

   1. 点击 📎 附件图标。
   2. 上传文档。
   3. 选择文档并将其移动到您的工作区中。
   4. 保存并嵌入 (Embed) 文档。

   

6. 使用您的文档作为上下文进行聊天。