AI智能摘要
GPT
这里是萌新AI，这篇文章介绍了如何使用 LMDeploy 部署推理框架和模型，并实现本地调用。首先安装 lmdeploy 并启动服务，通过 curl 查看已部署模型。接着安装 langchain 框架，利用其 API 调用模型进行交互。文章包含详细代码和注释，帮助读者快速上手模型部署与本地应用。
URL
type
Post
status
Published
date
Aug 21, 2025
slug
LMDeploy1
summary
LMDeploy
tags
大模型
Pytorch
深度学习
Python
实用教程
category
大模型
icon
password
该篇博客主要记录部署lmdeploy推理框架、模型部署以及本地模型交互。
📝 LMDeploy
LMDeploy 安装
- pip install lmdeploy
启动LMDeploy服务
- lmdeploy serve api_serve 服务器上模型路径
查看lmdeploy上已部署的模型
- curl -X 'GET' 'http://localhost:23333/v1/models'。从图片中反馈的结果："id":"/hy-tmp/model/Qwen/Qwen2.5-0.5B-Instruct"，id的值便是model_name。
🤗 本地调用已部署模型
Tips
请注意，由于这几天在学习langchain相关知识，所以这里调用API采用的是langchain框架的代码。与open_ai库实现流程相似，简单易懂。代码部分也会有相关注释，辅助大家理解。
安装 langchain
- 可以参考该链接https://www.langchain.com.cn/docs/how_to/installation/进行安装。总体来说只用到langchain、langchain-core、langchain-community三个包。直接使用pip install langchain langchain-core langchain-community 即可。
使用 langchain 来调用模型
📎 参考文章
以上便是部署LMDeploy、模型部署以及本地模型交互学习记录，欢迎您在底部评论区留言，一起交流~
- 作者:不爱吃香菜的萌新
- 链接:https://hexo.levsongsw.com//largemoder/LMDeploy1
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
