Fastgpt学习(1)- 本地化部署(以MacOS为例)

   日期:2024-12-26    作者:b932804 移动:http://mip.riyuangf.com/mobile/quote/38653.html

Fastgpt学习(1)- 本地化部署(以MacOS为例)

  • MongoDB:用于存储除了向量外的各类数据
  • PostgreSQL/Milvus:存储向量数据
  • OneAPI: 聚合各类 AI API,支持多模型调用 (任何模型问题,先自行通过 OneAPI 测试校验
(1)前置工作

Docker环境、网络

(2)开始部署

本地创建文件夹命名为fastgpt,在该文件夹下创建config.json 和 docker-compose.yml 文件。

内容如下

 
 

(将fastgpt的ports修改为3020:3000

对于该配置文件下载时存在三个版本,如何选择依据下图

(3)下载镜像
 
(4)安装ollama

Ollama是管理和运行大型语言模型的开源工具。其功能特点包括:可在本地运行大型语言模型,保障数据隐私与安全;支持多种模型管理,方便用户按需拉取切换;轻量级,对系统资源要求相对合理,能在多种设备运行;具有简单的命令行界面,易于使用。在应用场景方面,对开发者而言,能在本地快速搭建测试环境,提高开发效率;对普通用户来说,可用于个人创作任务并确保数据安全,是一款功能实用且易用的工具。

ollama安装地址 | ollama仓库地址

ollama常用命令

  1. :用于从 Ollama 的模型库中拉取指定名称的模型到本地
  2. :该命令会列出已经下载到本地的所有模型
  3. :启动指定名称的模型

(5)安装M3E
 

测试是否安装成功

 
(6)通过one-api配置国内大模型(以qwen

根据设定的端口,在浏览器内输入localhost:3001,默认账号为密码为

(端口号在docker-compose.yml文件中查看

在中配置 通义千问和M3E。

a. 通义千问配置

b. M3E配置

密钥默认设置为: sk-aaabbbcccdddeeefffggghhhiiijjjkkk

c.测试所有渠道

(7)将模型集成进fastgpt

修改文件

 

(其中name的值需要与one-api渠道配置中的名称保持一致,model的值需要与模型名称保持一致)

 
(8) 测试

访问fastgpt:http://localhost:3020

知识库 - 新建知识库


特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号