📝 Ollama

理论

Linux安装

• curl -fsSL https://ollama.com/install.sh | sh。有时候通过该命令无法下载成功。所以，伙伴们需要通过另外一种方式下载：
• 通过https://github.com/ollama/ollama/tags下载目标版本的压缩包。



• 解压缩包：如果下载下来的是.tgz文件，那么直接运行sudo tar -C /usr -xzf ollama-linux-amd64.tgz。如果下载下载的是.tar文件，那么需要修改原命令为sudo tar -C /usr -xvf ollama-linux-amd64.tar。
• 检验安装是否成功：ollama -v。这里的警告是指Ollama服务没有启动

Ollama启动服务

• 启动Ollama服务命令: ollama serve。这一条命了仅仅启动了Ollama框架的服务，但是没有部署对应的模型，需要我们指定对应的模型。

• 加载部署模型ollama run qwen2.5:0.5b。在查看模型大小时，大家可以发现ollama上的模型与modedescope以及huggingface上的模型大小不一致。这是因为ollama进行了量化处理然后采用GGUF格式存储。以下是该命令加载部署后的states：（通过/exit退出）

• 上面模型与用户交互的图片并不适合我们实际生产需求。我们一般是通过ollama暴露的API来调用我们已经部署好的模型。通过ollama list命令查看ollama部署了哪些模型。

🤗 本地调用已部署模型

安装 langchain

1. 可以参考该链接https://www.langchain.com.cn/docs/how_to/installation/进行安装。总体来说只用到langchain、langchain-core、langchain-community三个包。直接使用pip install langchain langchain-core langchain-community 即可。

使用 langchain 来调用模型

OllamaUseLog/UseDefaultAPI.py · LEVSONGSW/DeepLearnLog - Gitee

深度学习日志记录

https://gitee.com/levsongsw/deep-learn-log/blob/master/OllamaUseLog/UseDefaultAPI.py

关闭 Ollama 服务

• Ctrl + C 直接退出

• 通过ps aux | grep ollama 确定是否退出ollama服务

📎 参考文章

Ollama

Get up and running with large language models.

https://ollama.com/

构建一个聊天机器人 | LangChain中文网

本指南假设您对以下概念有所了解：

https://www.langchain.com.cn/docs/tutorials/chatbot/