AI智能摘要
GPT
这里是萌新 AI，这篇文章介绍了 LMDeploy 模型部署与调用的完整流程。文章从安装 LMDeploy 开始，指导如何启动服务、查看已部署模型，并重点讲解了使用 LangChain 框架调用本地模型的方法。通过具体代码示例，展示了从服务端到本地的交互过程，强调了与 OpenAI API 类似的调用方式，适合初学者快速上手。
URL
type
Post
status
Published
date
Aug 21, 2025
slug
LMDeploy1
summary
LMDeploy
tags
大模型
Pytorch
深度学习
Python
实用教程
category
大模型
icon
password
该篇博客主要记录部署lmdeploy推理框架、模型部署以及本地模型交互。
📝 LMDeploy
LMDeploy 安装
- pip install lmdeploy
启动LMDeploy服务
- lmdeploy serve api_serve 服务器上模型路径
查看lmdeploy上已部署的模型
- curl -X 'GET' 'http://localhost:23333/v1/models'。从图片中反馈的结果："id":"/hy-tmp/model/Qwen/Qwen2.5-0.5B-Instruct"，id的值便是model_name。
🤗 本地调用已部署模型
Tips
请注意，由于这几天在学习langchain相关知识，所以这里调用API采用的是langchain框架的代码。与open_ai库实现流程相似，简单易懂。代码部分也会有相关注释，辅助大家理解。
安装 langchain
- 可以参考该链接https://www.langchain.com.cn/docs/how_to/installation/进行安装。总体来说只用到langchain、langchain-core、langchain-community三个包。直接使用pip install langchain langchain-core langchain-community 即可。
使用 langchain 来调用模型
📎 参考文章
以上便是部署LMDeploy、模型部署以及本地模型交互学习记录，欢迎您在底部评论区留言，一起交流~
- 作者:不爱吃香菜的萌新
- 链接:https://hexo.levsongsw.com//largemoder/LMDeploy1
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
