什么是 FastGPT ?
是一个基于 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 可视化进行工作流编排,从而实现复杂的问答场景!
允许用户构建本地知识库,以提高 的理解能力和应用场景的适应性。该系统的设计旨在让 更好地理解用户需求并提供更准确的回答。
本文假设你已经安装了 和 ,如果还没有的话,建议你先阅读👇两篇
文章传送门:
- 大模型接口管理和分发系统One API
- 开源文本嵌入模型M3E
在群晖上以 Docker 方式安装。
由于环境变量不利于配置复杂的内容,新版 采用了 的形式挂载配置文件
这个配置文件中包含了系统参数和各个模型配置,
源文件的地址在这里👇:https://doc.fastai.site/docs/development/configuration/
老苏修改后的完整的 放在了这里👇:
https://raw.githubusercontent.com/wbsu2003/synology/main/FastGPT/config.json
llmModels
之前尝试过私有化部署的 ,在老苏的小机器上除了 外,其他基本上都跑不动,所以这次尝试是用 ,其可用的模型包括 、 和
vectorModels
默认使用了 的 向量模型
老苏改用了 向量模型进行替换
下面的内容基于官方的 修改而成,因为包含了中文注释,所以记得用 编码
源文件地址:https://github.com/labring/FastGPT/blob/main/files/deploy/fastgpt/docker-compose.yml
可以在这里下载☞,https://raw.githubusercontent.com/wbsu2003/synology/main/FastGPT/docker-compose.yml
然后执行下面的命令
在浏览器中输入 就能看到登录界面
如果你没有更改默认配置,那么用户名便是 ,密码为
首先需要新建一个知识库
取个名字
选择
来源选择
将文件拖入
上传了一个
直接用了默认设置
开始上传
多了一个数据集
等状态变成 就可以开始建应用了
当然这个过程也很消耗资源,小机器死机了一次,好在最后还是索引成功了
可以测试下搜索
新建一个应用
模板选择了
进入 ,关联知识库
也可以进入
这里已经可以开始调试了
再来一条
没问题的话就可以保存、发布了
进入
相关接口的开发问题随便问,这给客服工作省了多大的事啊
看看 赠送的 还剩下多少?
所有的请求,在 的日志中都有记录
是支持纯本地私有化部署的,但老苏考虑了自己小机器的性能,采用了混合部署的方式,其中向量模型采用了本地私有化部署,而 模型则使用了云服务
流程跑通了,接下来就是优化了,比如 等
当然,你还可以将 通过 接口,被第三方应用调用,可以是全局 (可操作 上的相关服务和资源,无法直接调用应用对话)
也可以是应用 (可直接调用应用对话)
labring/FastGPT: FastGPT is a knowledge-based platform built on the LLM, offers out-of-the-box data processing and model invocation capabilities, allows for workflow orchestration through Flow visualization!
地址:https://github.com/labring/FastGPT
FastGPT
地址:https://fastgpt.in/