Dify

Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了 Agent AI 工作流、RAG 管道、Agent 能力、模型管理、可观测性功能等，让您可以快速从原型开发迈向生产环境。

它支持将 vLLM 作为模型提供商，以高效地部署大型语言模型。

本指南将引导您完成使用 vLLM 后端部署 Dify 的过程。

先决条件

设置 vLLM 环境

pip install vllm

并安装 Docker 和 Docker Compose。

部署

1. 启动支持聊天完成模型的 vLLM 服务器，例如

   vllm serve Qwen/Qwen1.5-7B-Chat
   

2. 使用 docker compose 启动 Dify 服务器（详情）

   git clone https://github.com/langgenius/dify.git
   cd dify
   cd docker
   cp .env.example .env
   docker compose up -d
   

3. 打开浏览器访问 https:///install，配置基本的登录信息并登录。

4. 在右上角的用户菜单中（个人资料图标下方），进入“设置 (Settings)”，然后点击“模型提供商 (Model Provider)”，找到 vLLM 提供商并进行安装。

5. 按照以下说明填写模型提供商详情：

   • 模型类型 (Model Type): LLM
   • 模型名称 (Model Name): Qwen/Qwen1.5-7B-Chat
   • API 端点 URL (API Endpoint URL): http://{vllm_server_host}:{vllm_server_port}/v1
   • API 端点的模型名称 (Model Name for API Endpoint): Qwen/Qwen1.5-7B-Chat
   • 补全模式 (Completion Mode): Completion

   

6. 要创建一个测试聊天机器人，请前往 Studio → 聊天机器人 → 从空白创建 (Create from Blank)，然后选择“聊天助手”作为类型。

   

7. 点击您刚刚创建的聊天机器人，打开聊天界面并开始与模型进行交互。