什么是Ollama

Ollama是一个开源的大型语言模型服务工具，它帮助用户快速的运行大模型。浪浪云将它做为一键部署通过简单的安装，用户可以执行一条命令就可以运行开源大型语言模型，如 llama3 ,通以千问。极大地简化了部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。

优点：通过服务器自身算力来运行大模型，无需再为API付费

缺点：非常消耗算力，低配置也就只能跑跑小模型

相关文档

服务器推荐

推荐使用浪浪云服务器，省心 省时 省力 稳定且安全

效果演示

一键部署ollama

Pasted image 20240629115945

接入到Dify后，无需再为api付费

Pasted image 20240629134250


选择这个最低配置就可以安装

Pasted image 20240623121606

设置端口转发访问casaos

设置Ollama端口转发

Pasted image 20240629120911

访问casaos

打开应用商店

Pasted image 20240623143411

搜索安装ollama

Pasted image 20240629120136
Pasted image 20240629120207
Pasted image 20240629115945

安装大模型

选择设置

Pasted image 20240629121209

点击终端

Pasted image 20240629121237

下载千问大模型

ollama run qwen:1.8b

Pasted image 20240629121423

安装成功

Pasted image 20240629121507

测试一下问个你好

Pasted image 20240629121537

可以看到可以回答问题了，但是使用界面不太好，现在将它接入到dify里面使用

现在将它接入到dify里面使用

打开dify 设置

Pasted image 20240629121854

找到模型供应商ollama

Pasted image 20240629121938

访问ollama的api接口

Pasted image 20240629122435

添加千问大模型

Pasted image 20240629133648

可以看到添加模型成功

Pasted image 20240629133734

系统模型设置里的推理模型换为qwen1.8b

Pasted image 20240629134013

切换模型为qwen:1.8b

Pasted image 20240629134155

询问一下看看效果如何，这就成功了

Pasted image 20240629134250