AnythingLLM

AnythingLLM 是一个全栈应用程序，可让您将任何文档、资源或内容转化为任何 LLM 在聊天时可以作为参考的上下文。

它允许您将 vLLM 作为后端部署大型语言模型 (LLM) 服务器，该服务器公开与 OpenAI 兼容的端点。

先决条件

设置 vLLM 环境

pip install vllm

部署

1. 使用支持的聊天补全模型启动 vLLM 服务器，例如

   vllm serve Qwen/Qwen1.5-32B-Chat-AWQ --max-model-len 4096
   

2. 下载并安装 AnythingLLM Desktop。

3. 配置 AI 提供商

   • 在底部，点击 🔧 扳手图标 -> 打开设置 -> AI 提供商 -> LLM。
   • 输入以下值
     • LLM 提供商: Generic OpenAI
     • 基础 URL: http://{vllm server host}:{vllm server port}/v1
     • 聊天模型名称: Qwen/Qwen1.5-32B-Chat-AWQ

   

4. 创建一个工作区

   1. 在底部，点击 ↺ 返回图标，然后返回工作区。
   2. 创建一个工作区（例如，vllm）并开始聊天。

   

5. 添加文档。

   1. 点击 📎 附件图标。
   2. 上传文档。
   3. 选择文档并将其移动到您的工作区。
   4. 保存并嵌入它。

   

6. 使用您的文档作为上下文进行聊天。