AI智能摘要
GPT
这里是萌新AI，这篇文章介绍了 LMDeploy 的部署与调用流程。首先，作者详细说明了如何安装 LMDeploy 并启动其 API 服务。接着，通过 curl 命令可以查看已部署的模型。然后，文章重点讲解了如何在本地使用 LangChain 框架来调用已部署的模型，并提供了简单的安装和使用示例。整个过程清晰易懂，旨在帮助读者快速上手模型部署与交互。
URL
type
status
date
slug
summary
tags
category
icon
password
该篇博客主要记录部署lmdeploy推理框架、模型部署以及本地模型交互。
📝 LMDeploy
LMDeploy 安装
- pip install lmdeploy
启动LMDeploy服务
- lmdeploy serve api_serve 服务器上模型路径
查看lmdeploy上已部署的模型
- curl -X 'GET' 'http://localhost:23333/v1/models'。从图片中反馈的结果："id":"/hy-tmp/model/Qwen/Qwen2.5-0.5B-Instruct"，id的值便是model_name。
🤗 本地调用已部署模型
Tips
请注意，由于这几天在学习langchain相关知识，所以这里调用API采用的是langchain框架的代码。与open_ai库实现流程相似，简单易懂。代码部分也会有相关注释，辅助大家理解。
安装 langchain
- 可以参考该链接https://www.langchain.com.cn/docs/how_to/installation/进行安装。总体来说只用到langchain、langchain-core、langchain-community三个包。直接使用pip install langchain langchain-core langchain-community 即可。
使用 langchain 来调用模型
📎 参考文章
以上便是部署LMDeploy、模型部署以及本地模型交互学习记录，欢迎您在底部评论区留言，一起交流~
- 作者:不爱吃香菜的萌新
- 链接:https://hexo.levsongsw.com//largemoder/LMDeploy1
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
