Centos7服务器安装Ollama服务器

发表于 分类于 阅读次数： 本文字数： 3.3k 阅读时长 ≈ 3 分钟 
1
2
3
4
5
6
作者: 夜泊1990
企鹅: 1611756908
Q 群: 948233848
邮箱: hd1611756908@163.com
博客: https://hs-an-yue.github.io/
B 站: https://space.bilibili.com/514155929/

第一章 Ollama简介

第1节 Ollama官网

1
官网: https://ollama.com/

第2节 Ollama介绍

1
一句话介绍Ollama: 启动并运行大型语言模型的工具,提供了丰富的大语言模型(但不是所有模型都支持),提供了简单的对外API调用。

第二章 Ollama 安装前的环境需求

1
2
3
4
5
6
7
8
9
10
11
12
本次测试采用虚拟机下安装的Centos7系统,虚拟机采用 VMware® Workstation 17 Pro

1. 将操作系统内核升级到最新版本 命令为: sudo yum update
2. 更新软件系统包 命令为: sudo yum check-update
3. Python需要升级到 Python3以上版本,可以根据自己喜欢的方式进行升级.我的升级方式如下:
    sudo yum install epel-release
    sudo yum install python3
    sudo yum install python3-devel
    sudo yum install python3-pip
    //查看版本  python3 --version

以上就是安装Ollama前的环境准备

第三章 Ollama安装和测试

第1节 安装Ollama(Centos7)

1
2
3
4
5
Linux安装非常简单一条命令即可,命令为: curl -fsSL https://ollama.com/install.sh | sh

注意: 
	1. 有的用户非常慢,有的用户非常快。和网络有很大关系。
	2. 将本机的代理或者加速器关掉,否则有可能会被官网认为是一个不安全的机器，不让你安装。

第2节 Ollama的常用命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
Ollama安装完成后，可以使用命令行进行操作,使用命令行需要学习一些命令,Ollama的命令不是很多，可以在命令行通过 ollama --help 命令查看ollama支持的命令

1. 查看当前Ollama正在运行的模型     ollama ps

    [root@localhost ~]# ollama ps
    NAME           ID              SIZE      PROCESSOR    UNTIL              
    llama3.2:3b    a80c4f17acd5    3.6 GB    100% CPU     4 minutes from now
    
2. 查看当前Ollama工具下有哪些模型   ollama list

    [root@localhost ~]# ollama list
    NAME           ID              SIZE      MODIFIED    
    llama3.2:3b    a80c4f17acd5    2.0 GB    3 hours ago

3. 从云端下载模型 
	3.1 官网提供了 Ollama 支持的模型有哪些，地址为: https://ollama.com/library
	3.2 通过官网选择你想要下载并运行的模型可以直接通过命令。例如下载并运行llama3.2模型。 命令为: ollama run llama3.2

4. 推出模型的交互模式。 快捷键为: ctrl+d   并不会将大模型停止,只是从模型交互模式推出,模型还在运行。
5. 停止Ollama中的某一个模型，命令为:ollama stop 模型名称,例如: ollama stop llama3.2:3b 停止llama3.2:3b在Ollama中的运行
6. 删除Ollama中的模型
	6.1 将模型停止 ollama stop llama3.2:3b
	6.2 使用命令删除 ollama rm llama3.2:3b

其他命令不是很常见,这里不做介绍.

第3节 本地访问Ollama模型

1
2
3
4
5
6
7
8
9
10
11
第一种方式就是命令行交互方式,在使用ollama run 命令时直接进入交互模式，可以直接在命令行和大模型进行对话.

第二种方式直接在浏览器中访问Ollama服务器地址,测试Ollama服务是否正确运行（不是调用模型），只是测试Ollama是否安装和运行正常
Ollama服务器启动后默认占用 11434 端口号,所以在浏览器中 通过IP+端口号访问 http://127.0.0.1:11434
在浏览器中看见此提示说明Ollama运行正常 Ollama is running

第三种方式还是在命令行中采用命令的方式进行交互，这种交互方式是调用Ollama的API的方式，示例如下:
通过此命令在CMD命令行访问Ollama服务器
curl http://127.0.0.1:11434/api/generate -d "{\"model\": \"qwen2.5:0.5b\",\"prompt\": \"你是谁?\",\"stream\":false}"

注意: Ollama服务器默认不开放IP地址给其他服务器,也就是说只能在同一台机器上访问，只可以使用127.0.0.1或者localhost访问,后面在配置被任意其它主机访问

第四章 设置任意IP地址访问Ollama服务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
配置任意IP访问的配置文件的位置  /etc/systemd/system/ollama.service

ollama.service在此文件的[Service]下，设置 Environment="OLLAMA_HOST=0.0.0.0" 即可

设置后我的文件内容如下: 每个人的文件内容可能不相同,我的样例

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0"     # 这是我加的

[Install]
WantedBy=default.target


添加完后保存，然后执行以下命令刷新配置:

systemctl daemon-reload         重新生成依赖关系
systemctl restart ollama        重启Ollama



重新启动完Ollama后，可以使用命令，重新调用Ollama中的大模型，测试是否配置成功，样式如下 ↓↓↓↓↓↓↓↓ 
注意: 如果用Windows命令行测试的话不能使用Windows PowerShell命令行，要使用windows原生命令行工具。
我这里测试使用的模型是阿里千问(qwen2.5:0.5b)的模型进行的测试（注意: 要先运行模型）
1
2
3
4
5
6
在应用中，大语言模型是不能直接用的，可能会出现很严重的安全问题
1. 没人可以保证大语言模型在进行训练的时候，训练的数据都是正确的，比如有人论文造假，大语言模型学了造假的论文，那他就被训练成一个骗子。
2. 训练好了的大模型，在进行泛化的时候基本也不是很准确，因为你问的问题，可能在大语言模型的训练数据中没有完全准确的答案，大语言模型需要自己去推理，那他的推理就千奇百怪了，可能驴唇不对马嘴
3. 所以要想把大语言模型用于日常应用还需要很多的辅助技术，这里不做赘述，后期有时间在说。

下面是 裸的大语言模型已读乱回的情况，这种问题还是有具体固定答案的，他都不能百分百回答正确，如果是没有固定答案，需要模型推理的呢?所以解决不了大语言模型的安全问题，真正大面积应用还需要等待。
1
典型的已读乱回.这种现象是有办法调试的，后面有时间在继续说大模型的生态。

Ollama 极简环境搭建和测试完成…

--------------------------已经到底啦！--------------------------