Streamlit

Streamlit 可以在几分钟内将 Python 脚本转换为交互式 Web 应用程序，而不是几周。构建仪表板、生成报告或创建聊天应用程序。

它可以快速与 vLLM 集成作为后端 API 服务器，从而通过 API 调用实现强大的 LLM 推理。

先决条件

通过安装所有必需的软件包来设置 vLLM 环境

pip install vllm streamlit openai

部署

1. 使用支持的聊天完成模型启动 vLLM 服务器，例如：

   vllm serve Qwen/Qwen1.5-0.5B-Chat
   

2. 使用脚本： examples/online_serving/streamlit_openai_chatbot_webserver.py

3. 启动 streamlit Web UI 并开始聊天

   streamlit run streamlit_openai_chatbot_webserver.py
   
   # or specify the VLLM_API_BASE or VLLM_API_KEY
   VLLM_API_BASE="http://vllm-server-host:vllm-server-port/v1" \
       streamlit run streamlit_openai_chatbot_webserver.py
   
   # start with debug mode to view more details
   streamlit run streamlit_openai_chatbot_webserver.py --logger.level=debug