- MongoDB:用于存储除了向量外的各类数据
- PostgreSQL/Milvus:存储向量数据
- OneAPI: 聚合各类 AI API,支持多模型调用 (任何模型问题,先自行通过 OneAPI 测试校验)
(1)前置工作
Docker环境、网络
(2)开始部署
本地创建文件夹命名为fastgpt,在该文件夹下创建config.json 和 docker-compose.yml 文件。
内容如下:
(将fastgpt的ports修改为3020:3000)
对于该配置文件下载时存在三个版本,如何选择依据下图:
(3)下载镜像
(4)安装ollama
Ollama是管理和运行大型语言模型的开源工具。其功能特点包括:可在本地运行大型语言模型,保障数据隐私与安全;支持多种模型管理,方便用户按需拉取切换;轻量级,对系统资源要求相对合理,能在多种设备运行;具有简单的命令行界面,易于使用。在应用场景方面,对开发者而言,能在本地快速搭建测试环境,提高开发效率;对普通用户来说,可用于个人创作任务并确保数据安全,是一款功能实用且易用的工具。
ollama安装地址 | ollama仓库地址
ollama常用命令:
- :用于从 Ollama 的模型库中拉取指定名称的模型到本地
- :该命令会列出已经下载到本地的所有模型
- :启动指定名称的模型
(5)安装M3E
测试是否安装成功:
(6)通过one-api配置国内大模型(以qwen)
根据设定的端口,在浏览器内输入localhost:3001,默认账号为密码为
(端口号在docker-compose.yml文件中查看)
在中配置 通义千问和M3E。
a. 通义千问配置
b. M3E配置
密钥默认设置为: sk-aaabbbcccdddeeefffggghhhiiijjjkkk
c.测试所有渠道
(7)将模型集成进fastgpt
修改文件
(其中name的值需要与one-api渠道配置中的名称保持一致,model的值需要与模型名称保持一致)
(8) 测试
访问fastgpt:http://localhost:3020
知识库 - 新建知识库