Dify

Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了智能体工作流、RAG 管道、智能体能力、模型管理、可观测性功能等，让您能够快速从原型开发过渡到生产部署。

它支持 vLLM 作为模型提供者，以高效地服务大型语言模型。

本指南将引导您完成使用 vLLM 后端部署 Dify 的过程。

先决条件

设置 vLLM 环境

pip install vllm

并安装 Docker 和 Docker Compose。

部署

1. 启动支持聊天完成模型的 vLLM 服务器，例如

   vllm serve Qwen/Qwen1.5-7B-Chat
   

2. 使用 docker compose 启动 Dify 服务器（详情）

   git clone https://github.com/langgenius/dify.git
   cd dify
   cd docker
   cp .env.example .env
   docker compose up -d
   

3. 在浏览器中访问 https:///install，配置基本登录信息并登录。

4. 在右上角的用户菜单（在个人资料图标下）中，转到“设置”，然后点击“模型提供者”，找到“vLLM”提供者并安装它。

5. 填写模型提供者详细信息，如下所示：

   • 模型类型：LLM
   • 模型名称：Qwen/Qwen1.5-7B-Chat
   • API 端点 URL：http://{vllm_server_host}:{vllm_server_port}/v1
   • API 端点模型名称：Qwen/Qwen1.5-7B-Chat
   • 补全模式：Completion

   

6. 要创建测试聊天机器人，请转到“Studio → Chatbot → Create from Blank”，然后选择 Chatbot 作为类型。

   

7. 点击您刚创建的聊天机器人以打开聊天界面并开始与模型进行交互。