AI智能摘要
GPT
这里是萌新AI，这篇文章介绍了使用 LMDeploy 框架进行模型部署和本地调用的完整流程。文章首先指导安装 LMDeploy 并启动服务，然后演示如何查看已部署的模型。接着，重点讲解了通过 langchain 库调用已部署模型的方法，包括安装所需包和编写调用代码。整体内容清晰实用，适合初学者快速上手。
URL
type
Post
status
Published
date
Aug 21, 2025
slug
LMDeploy1
summary
LMDeploy
tags
大模型
Pytorch
深度学习
Python
实用教程
category
大模型
icon
password
该篇博客主要记录部署lmdeploy推理框架、模型部署以及本地模型交互。
📝 LMDeploy
LMDeploy 安装
- pip install lmdeploy
启动LMDeploy服务
- lmdeploy serve api_serve 服务器上模型路径
查看lmdeploy上已部署的模型
- curl -X 'GET' 'http://localhost:23333/v1/models'。从图片中反馈的结果："id":"/hy-tmp/model/Qwen/Qwen2.5-0.5B-Instruct"，id的值便是model_name。
🤗 本地调用已部署模型
Tips
请注意，由于这几天在学习langchain相关知识，所以这里调用API采用的是langchain框架的代码。与open_ai库实现流程相似，简单易懂。代码部分也会有相关注释，辅助大家理解。
安装 langchain
- 可以参考该链接https://www.langchain.com.cn/docs/how_to/installation/进行安装。总体来说只用到langchain、langchain-core、langchain-community三个包。直接使用pip install langchain langchain-core langchain-community 即可。
使用 langchain 来调用模型
📎 参考文章
以上便是部署LMDeploy、模型部署以及本地模型交互学习记录，欢迎您在底部评论区留言，一起交流~
- 作者:山潍
- 链接:https://hexo.levsongsw.com//largemoder/LMDeploy1
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
