AI学习系列01期-本地化AI搭建

基础本地化AI构建教程

前言

本教程基于通义千问的qwen2.5，不用Docker，但是相对而言是有一个比较麻烦的过程，且本教程不适合关机（狗头）。为什么不用Docker，是因为我没学。根本不会用，还有就是，windows吧，能不Docker，就别Docker。我宁可再去装一个linux，也不要Docker

准备：

1、Ollama：https://ollama.com/
2、VirtualBox：https://www.virtualbox.org/
3、MobaXterm_Portable：https://mobaxterm.mobatek.net/
4、MeterSphere 提供的 Ubuntu OVA 文件：https://pan.baidu.com/s/1SDy2HZNlDQYCy6J7wPsmtw?pwd=423w
MaxKB离线部署包：https://community.fit2cloud.com/#/products/maxkb/downloads

步骤一：下载安装Ollama

1、打开Ollama官网，点击“Download”

2、安装Ollama，一直点下一步就可以

3、打开PowerShell，输入以下命令

1	ollama run qwen2.5

4、等待模型下载

5、等待模型下载完成，当出现下图相类似内容时，表明安装成功。

6、这时候可以随便输入一点测试一下，比如提问你是，

之后你可以继续使用第三步的命令来运行模型，并且不用重新下载。当然，命令行界面不咋好看，还没办法进行多模态交互，所以，我们要构建一个WebUI。

步骤二：WebUI构建

1、安装VirtualBox,依旧是无脑下一步即可

2、打开程序

3、点击导入，打开MeterSphere提供的Ubuntu OVA文件，然后等待系统载入

4、点击启动后等待系统启动，等显示到此界面时，输入用户名以及密码，用户名：root ；密码： passwd ，注意的是，输入密码时界面并不会显示文字，所以输入后直接回车即可

5、然后输入以下命令来查看虚拟机IP,注意区分本机IP和虚拟机IP，然后记住这个虚拟机IP，后续要用

ip a

6、打开MobaXterm，新建会话，把我们的虚拟机IP，虚拟机的用户名“ROOT”和密码都输进去，需要注意的是，此时输入密码也是不会显示的，输入完直接敲回车就好。

7、当显示下图时，代表启动成功

8、然后把我们刚才下载的MaxKB包直接拖到这个窗口上

9、然后输入以下命令



#解压安装包
tar -zxvf maxkb-v1.7.2-offline.tar.gz
#其中maxkb-v1.7.2-offline.tar.gz为下载的离线安装包，注意版本是否与命令相同，不同的改一下命令

# 进入安装包解压缩后目录 
cd maxkb-v1.7.2-offline
# 执行安装命令
/bin/bash install.sh

10、打开环境变量配置，在用户变量中添加以下内容


变量名：OLLAMA_HOST
变量值：0.0.0.0

11、在浏览器中输入以下地址，进入MaxKb配置界面，用户名： admin ；密码： ***MaxKB@123..***，第一次登入要改密码

1 2	http://虚拟机IP:8080

12、按步骤点击，配置模型，因为我们是本地ollama模型，所以模型要选ollama，然后后续参数按我的图来，其中，基础模型要输入 qwen2.5 然后回车，不要用它列表里面的，关于API域名，是下面第三张图中框出来的部分加11434，整体就是

域名

1	http://你的框出来的IP:11434

关于API Key那一块可以随便输，只要你能记得就很好

13、点击确定，然后回到应用，这一步可以做的有很多，小白建议跟着我做最基本的。

14、创建应用后来到这个界面

具体参数如下：


应用名称	你的AI想叫什么名字
应用描述	想用来干什么
AI 模型	我们刚刚创建的模型名，我这里叫亓翎
角色设定	基础的模型设定，让模型自我介绍用
提示词	通过调整提示词内容，可以引导大模型聊天方向，该提示词会被固定在上下文的开头。可以使用变量：{question} 是用户提出问题的占位符。
历史聊天记录	按次数保存会话记录，一次退出算一次，我喜欢设置成5~10这样
关联知识库	可以关联知识库，可以自己创建，也可以关联网上的，我这里没有关联
提示词 (引用知识库)	这边可以不用填，因为没有关联知识库，如果填了，那就去细分一下
开场白	很简单的东西，就是AI第一句要说什么
语音输入	这边要创建语音模型，我们最基础的不用做
语音播放	这个根据需要开