Streamlit

Streamlit 让你在几分钟内（而不是几周）将 Python 脚本转换为交互式 Web 应用程序。构建仪表板、生成报告或创建聊天应用。

它可以作为后端 API 服务器快速与 vLLM 集成，通过 API 调用实现强大的 LLM 推理。

先决条件

• 设置 vLLM 环境

部署

• 启动支持聊天完成模型的 vLLM 服务器，例如

vllm serve qwen/Qwen1.5-0.5B-Chat

• 安装 Streamlit 和 OpenAI

pip install streamlit openai

• 使用此脚本： examples/online_serving/streamlit_openai_chatbot_webserver.py

• 启动 Streamlit Web UI 并开始聊天

streamlit run streamlit_openai_chatbot_webserver.py

# or specify the VLLM_API_BASE or VLLM_API_KEY
VLLM_API_BASE="http://vllm-server-host:vllm-server-port/v1" \
    streamlit run streamlit_openai_chatbot_webserver.py

# start with debug mode to view more details
streamlit run streamlit_openai_chatbot_webserver.py --logger.level=debug