AI智能摘要
GPT
这里是萌新AI，这篇文章介绍了如何将微调好的模型通过 vLLM 部署，并在 Open WebUI 中加载使用。首先，作者简要说明了 Open WebUI 是一个支持离线运行、功能丰富的 AI 平台，并指导了其安装与启动。接着，详细记录了在 vLLM 上部署模型后，通过检测服务确认模型 ID，并在 Open WebUI 的管理员面板中配置 vLLM 的 URL 和模型 ID，最终成功加载模型进行测试的步骤。
URL
type
status
date
slug
summary
tags
category
icon
password
本篇博客主要记录将微调好的模型部署在vLLM服务框架中，然后通过Open WebUI加载vLLM部署的模型。vLLM相关介绍，伙伴们请查看该链接。
📝 Open WebUI
Open WebUI是一个可扩展、功能丰富且用户友好的自托管人工智能平台，旨在完全离线运行。它支持各种LLM运行器，如Ollama和OpenAI兼容API，内置RAG的推理引擎，使其成为强大的人工智能部署解决方案。
Open WebUI是一个托管模型的图像化界面。我们可以通过平台快速加载使用已经部署在vLLM的模型。
首先，安装Open WebUI。
接着，启动服务。
这里推荐大家使用vscode进行操作。vscode有端口设置进行转发地址，一般vscode会自动转发。有一些特殊情况不会自动转发，但我们可以通过手动设置端口转发，实现本地加载云服务器的Open WebUI页面。设置如下：
首先，点击添加端口
接着，输入7860端口号。最终结果是这样。
再接着，在浏览器中输入http://localhost:7860。伙伴们也可以将鼠标放置在转发地址下的URL上，会出现三个可点击图标选项。伙伴们点击第二个网状图标。
Open WebUI的界面如下：
最后，注册登陆。
上图模型，是博主配置后加载到的模型。如果伙伴们没有配置，则不会看到任何模型。接下来，博主会详细记录如何配置已经部署在vLLM上的模型。
🤗 配置和测试
首先，我们需要检测vLLM上是否成功部署模型。
其中，红框中的id值为我们模型的ID。
接着，我们将目光转向Open WebUI。首先，点击左下角的用户名，会有一个弹窗。接着，点击管理员面板。
再接着，按照下图的数字编号依次点击。
再接着，将vLLM的URL和模型ID配置到下面的弹窗中并点击保存。
其中，将http://localhost:36921/v1填入URL中。api key填入none即可。将我们第一步查到的模型ID填入到ID中。
再接着，修改模型名。正常情况，Open WebUI加载到的模型名就是我们填入的ID名。上面查找到的模型ID太长，而且包含路径名，影响UI的美观。因此，我们需要修改模型显示名。伙伴们按照下图数字编号进行点击即可。点击第三步后，会出现新的页面(下图：第二图)。将新的模型名填入红色框中。
最后，测试模型。
📎 参考文章
以上便是该篇博客的内容，欢迎您在底部评论区留言，一起交流~
- 作者:不爱吃香菜的萌新
- 链接:https://hexo.levsongsw.com//largemoder/vLLMOpenWebUI1
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
