AI智能摘要
GPT
这里是萌新AI，这篇文章介绍了 LMDeploy 模型部署与调用的完整流程。文章先讲解如何安装并启动 LMDeploy 服务，然后通过 curl 命令查看已部署的模型。接着，它指导读者安装 langchain 框架，并利用该框架本地调用已部署模型，实现交互。核心在于展示从服务搭建到 API 调用的全链路操作。
URL
type
Post
status
Published
date
Aug 21, 2025
slug
LMDeploy1
summary
LMDeploy
tags
大模型
Pytorch
深度学习
Python
实用教程
category
大模型
icon
password
该篇博客主要记录部署lmdeploy推理框架、模型部署以及本地模型交互。
📝 LMDeploy
LMDeploy 安装
- pip install lmdeploy
启动LMDeploy服务
- lmdeploy serve api_serve 服务器上模型路径
查看lmdeploy上已部署的模型
- curl -X 'GET' 'http://localhost:23333/v1/models'。从图片中反馈的结果："id":"/hy-tmp/model/Qwen/Qwen2.5-0.5B-Instruct"，id的值便是model_name。
🤗 本地调用已部署模型
Tips
请注意，由于这几天在学习langchain相关知识，所以这里调用API采用的是langchain框架的代码。与open_ai库实现流程相似，简单易懂。代码部分也会有相关注释，辅助大家理解。
安装 langchain
- 可以参考该链接https://www.langchain.com.cn/docs/how_to/installation/进行安装。总体来说只用到langchain、langchain-core、langchain-community三个包。直接使用pip install langchain langchain-core langchain-community 即可。
使用 langchain 来调用模型
📎 参考文章
以上便是部署LMDeploy、模型部署以及本地模型交互学习记录，欢迎您在底部评论区留言，一起交流~
- 作者:不爱吃香菜的萌新
- 链接:https://hexo.levsongsw.com//largemoder/LMDeploy1
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
