Dify

Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了 agentic AI 工作流、RAG 管线、agent 能力、模型管理、可观测性特性等，使您能够快速从原型过渡到生产。

它支持 vLLM 作为模型提供者，以高效地服务大型语言模型。

本指南将引导您使用 vLLM 后端部署 Dify。

先决条件

• 设置 vLLM 环境
• 安装 Docker 和 Docker Compose

部署

• 启动 vLLM 服务器并加载支持的聊天完成模型，例如：

vllm serve Qwen/Qwen1.5-7B-Chat

• 使用 docker compose 启动 Dify 服务器 (详情)

git clone https://github.com/langgenius/dify.git
cd dify
cd docker
cp .env.example .env
docker compose up -d

• 打开浏览器访问 http://localhost/install，配置基础登录信息并登录。

• 在右上角用户菜单（个人资料图标下方），进入设置，然后点击 模型提供者，找到并安装 vLLM 提供者。

• 填写模型提供者详细信息，如下所示：

• 模型类型: LLM
• 模型名称: Qwen/Qwen1.5-7B-Chat
• API 端点 URL: http://{vllm_server_host}:{vllm_server_port}/v1
• API 端点的模型名称: Qwen/Qwen1.5-7B-Chat
• 完成模式: Completion

• 要创建一个测试聊天机器人，请进入 Studio → 聊天机器人 → 从空白创建，然后选择类型为聊天机器人。

• 点击您刚创建的聊天机器人打开聊天界面，并开始与模型互动。