Streamlit

Streamlit 允许你在几分钟（而非几周）内将 Python 脚本转变为交互式 Web 应用。构建仪表盘、生成报告或创建聊天应用。

它可以与 vLLM 快速集成作为后端 API 服务器，通过 API 调用实现强大的 LLM 推理。

前提条件

• 设置 vLLM 环境

部署

• 使用支持的聊天完成模型启动 vLLM 服务器，例如：

vllm serve qwen/Qwen1.5-0.5B-Chat

• 安装 streamlit 和 openai

pip install streamlit openai

• 使用脚本： examples/online_serving/streamlit_openai_chatbot_webserver.py

• 启动 streamlit Web UI 并开始聊天

streamlit run streamlit_openai_chatbot_webserver.py

# or specify the VLLM_API_BASE or VLLM_API_KEY
VLLM_API_BASE="http://vllm-server-host:vllm-server-port/v1" \
    streamlit run streamlit_openai_chatbot_webserver.py

# start with debug mode to view more details
streamlit run streamlit_openai_chatbot_webserver.py --logger.level=debug