【教程】MaxKB、ollama本地部署

612 字

3 分钟

【教程】MaxKB、ollama本地部署

2024-06-06

编码&教程

ollama

/

MaxKB

/

Docker

/

wsl

账号：admin

密码：MaxKb@wei

API：如果是docker启动maxkb、ollma是宿主机安装的话，可以尝试http://host.docker.internal:11434/**

bilibili视频教程：

1.ollama、MaxKB本地部署

2.Docker、wsl部署

1. Ollama安装#

下载#

下载速度慢需要搭梯子

安装#

在OllamaSetup.exe目录下打开终端，指定目录安装：

1
# 安装指令
2
OllamaSetup.exe /DIR=W:\Software\other\ollama

查看是否安装成功：

更改LLM存储路径#

==更改本地大模型存储位置==：

a、创建存放LLM的文件#

b、配置环境变量#

配置完成后，在W:\MingYi\LLM\ollama_models（换成你自己的）路径下会自动新建blobs文件夹！如果没有请重新配置。

下载本地大模型#

1
1、查看安装是否成功：ollama
2
2、下载模型：ollama run qwen:模型参数
3
3、管理模型：ollama list
4
4、运行模型：ollama run 模型名称
5
5、删除模型：ollama rm 模型名称
6
6、查看模型信息：ollama show 模型名称
7
7、多模态对话：ollama run gemma3:4b "请描述图片? https://cn.bing.com/images/search?q=%e5%9b%be%e7%89%87&id=89CA6D71D88E974386E0497B8CF2CDE5353D8B14&FORM=IACFIR"

回到ollama下载首页，选择模型参数，复制下载指令

运行指令

查看是否成功下载：ollama list

也可以到存放模型的路径下查看：manifest/…下查看

运行ollama：ollama run qwen:7b

2. Docker安装#

查看Docker安装：Linux、Windows、Mac下docker安装

启用Windows功能#

重启电脑

安装wsl#

1
1、设置wsl的默认版本：wsl --set-default-version 2
2
2、安装wsl：wsl --update --web-download
3
3、重启wsl：wsl --shutdown

下载安装Docker#

指定Docker安装路径#

在.exe文件下打开cmd

1
start /w "" "docker_desktop_installer_windows_x86_64.exe" install --installation-dir=W:\MingYi\Docker

Windows下docker镜像拉取建议使用第二种方法：

1
"registry-mirrors": [
2
        "https://docker.m.daocloud.io",
3
        "https://docker.1panel.live",
4
        "https://hub.rat.dev"
5
    ]

将此代码粘贴到：

3. MaxKB安装部署#

GitHub教程 #

步骤#

启动docker！（确保已安装wsl）#

创建maxkb数据目录#

拉取镜像#

根据镜像创建并运行容器#

1
docker run -d `
2
  --name=maxkb `
3
  -p 8080:8080 `
4
  -v ${HOME}\.maxkb:/var/lib/postgresql/data `
5
  cr2.fit2cloud.com/1panel/maxkb

查看运行中的容器#

访问MaxKB#

http://localhost:8080

4. 搭建模型#

本地大模型的API域名：如果是docker启动maxkb、ollma是宿主机安装的话，可以尝试http://host.docker.internal:11434/

5. 知识库搭建 #

ollama官网下载向量模型（embedding）#

复制指令，本地下载#

1
# 下载新的向量模型
2
ollama pull nomic-embed-text

修改MaxKB的环境变量将向量模型添加到MaxKB#

1
# 停止容器
2
docker stop maxkb
3

4
# 运行指令，只需修改 EMBEDDING_MODEL_NAME 即可
5
docker run -d ^
6
  --name maxkb ^
7
  -p 8080:8080 ^
8
  -v C:\Users\flzxs\.maxkb:/data ^
9
  -e EMBEDDING_MODEL_TYPE=ollama ^
10
  -e EMBEDDING_MODEL_NAME=新模型名称 ^
11
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 ^
12
  --add-host=host.docker.internal:host-gateway ^
13
  cr2.fit2cloud.com/1panel/maxkb