分享好友 最新动态首页 最新动态分类 切换频道
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
2024-12-28 06:45

阿里云向量检索 Milvus 版是一款云上全托管服务,确保了与开源Milvus的100%兼容性,并支持无缝迁移。在开源版本的基础上增强了可扩展性,能提供大规模 AI 向量数据的相似性检索服务。相比于自建,目前阿里云Milvus具备易用性、可用性、安全性、低成本与生态优势。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,阿里云Milvus 云服务成为多样化 AI 应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的 Attu 工具进行可视化操作,进一步促进应用的快速开发和部署。

通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统

本文介绍如何通过整合阿里云向量检索服务Milvus版、阿里云百炼DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。

  • 已创建Milvus实例。

进入阿里云Milvus页面(https://www.aliyun.com/product/milvus),登录阿里云Milvus控制台(https://milvus.console.aliyun.com/#/overview)。并在左侧导航栏,单击Milvus实例,并继续创建实例

  • 已开通PAI(EAS)并创建了默认工作空间。

登录PAI控制台(https://pai.console.aliyun.com),在左上角选择需要开通的地域后,进行认证、授权并开通服务,待开通成功后,便可进入控制台进行AI开发。

  • 已开通百炼服务并获得API-KEY。

登陆阿里云百炼大模型服务平台(https://bailian.console.aliyun.com),在页面右上角的下拉菜单中单击API-KEY,进行创建。

  • Milvus实例和PAI(EAS)须在相同地域下。
  • 请确保您的运行环境中已安装Python 3.8或以上版本,以便顺利安装并使用DashScope。

该方案架构如下图所示,主要包含以下几个处理过程:

  • 知识库预处理:您可以借助LangChain SDK对文本进行分割,作为Embedding模型的输入数据。
  • 知识库存储:选定的Embedding模型(DashScope)负责将输入文本转换为向量,并将这些向量存入阿里云Milvus的向量数据库中。
  • 向量相似性检索:Embedding模型处理用户的查询输入,并将其向量化。随后,利用阿里云Milvus的索引功能来识别出相应的Retrieved文档集。
  • RAG(Retrieval-Augmented Generation)对话验证:您使用LangChain SDK,并将相似性检索的结果作为上下文,将问题导入到LLM模型(本例中用的是阿里云PAI EAS),以产生最终的回答。此外,结果可以通过将问题直接查询LLM模型得到的答案进行核实。
  1. 进入模型在线服务页面。
  1. 登录PAI控制台(https://pai.console.aliyun.com/)。
  2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
  3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务(EAS),进入模型在线服务(EAS)页面。
  1. 模型在线服务页面,单击部署服务
  2. 部署服务页面,选择大模型RAG对话系统
  3. 部署大模型RAG对话系统页面,配置以下关键参数,其余参数可使用默认配置,更多参数详情请参见大模型RAG对话系统(https://help.aliyun.com/zh/pai/user-guide/deploy-a-rag-based-dialogue-system)。
  1. 单击部署

服务状态变为运行中时,表示服务部署成功。

  1. 获取VPC地址调用的服务访问地址和Token。
  1. 单击服务名称,进入概览页面。
  2. 基本信息区域,单击查看调用信息
  3. 调用信息对话框的VPC地址调用页签,获取服务访问地址和Token,并保存到本地。
  1. (可选)在ECS控制台创建并启动一个开通公网的ECS实例,用于运行Python文件,详情请参见通过控制台使用ECS实例(快捷版)(https://help.aliyun.com/zh/ecs/getting-started/create-and-manage-an-ecs-instance-by-using-the-ecs-console)。

您也可以在本地机器执行Python文件,具体请根据您的实际情况作出合适的选择。

  1. 执行以下命令,安装相关依赖库。
  1. 执行以下命令,创建文件。

文件内容如下所示。

以下参数请根据实际环境替换。

  1. 执行以下命令运行文件。

返回如下类似信息。

  • 更多关于Milvus的介绍,请参见什么是向量检索服务Milvus版(https://help.aliyun.com/zh/milvus/product-overview/what-is-the-vector-retrieval-milvus-version)。
  • Milvus最新动态:
  • 预付费包年折扣:1年85折、2年7折、3年5折;
  • 产品动态:

如有疑问,可加入向量检索 Milvus 版用户交流钉群59530004993咨询。

最新文章
苹果手机分屏秘籍,轻松实现上下两屏应用分屏设置
你是否曾为苹果手机无法像安卓手机那样自由分屏而感到烦恼?苹果手机也有分屏功能,只是设置方式略有不同,就让我们一起来探索苹果手机如何分屏两个应用以及上下两屏的设置方法。需要注意的是,苹果手机的分屏功能可能会因系统版本和设备型
生肖已解“自惭形秽空余遗恨烟消云散双必出是”打一什么生肖机构预测解释落实方法_精英版201.124
十二生肖字谜诗句藏韵于短才华横溢:谜面:身形矜矜带遗憾遗珠暗藏谦虚间。烟散云开双兽现龙腾虎跃变中显。诗曰:自惭形秽隐英华空余遗恨蕴生涯。烟云变幻双兽舞生肖轮回映天机。解析:首句以“自惭形秽”描绘生肖之牛虽勤奋朴实但有时过于
Pro tools(音频后期) 中文免费版 V2020.5
  Pro tools(音频后期) 中文免费版拥有非常强大的音频智能编辑工具,能够帮助用户很快地处理音频,比如剪辑音频片段、编辑音频文件、制作音频文件等等。Pro tools解决了音频轨道分散的问题,让用户可以在最大程度上重塑声音、打造完美的
手机卡顿怎么处理
在智能手机普及的今天,手机卡顿已成为许多用户面临的常见问题。卡顿不仅影响使用体验,还可能拖慢工作与生活节奏。以下是一些实用的方法,帮助你有效解决手机卡顿问题。**一、清理存储空间**手机存储空间不足是导致卡顿的主要原因之一。定
网站定制开发WEBSITE CUSTOMIZATION DEVELOPMENT
【北京云无限科技有限公司】【北京云无限科技有限公司】在IT行业专注百度搜索引擎优化、网站制作和手机app开发服务。我们始终立足于企业营销精准化,为企业建设符合搜索引擎规则、符合用户体验的营销型网站,通过正规SEO技术让网站不再是一
seo网站营销推广全(做SEO对网站推广的10种基本方法,手法虽老但很实用)
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室依法管网、依法办网、依法上网的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和
阅瓣免费小说手机版简介:
阅瓣免费小说下载是一款功能十分强大的看小说大全阅读器,海量的小说资源丰富类型一网打尽,全场的正版小说资源免费畅读,极速连载更新追书不等待,让您再无书荒。阅瓣,来了;全新的阅读体验,极强的书籍推荐,帮你寻找你最喜欢的书籍;清
Redmi,型号23013RK75C手机价钱?
红米K60和K60E是小米公司推出的两款手机,于2022年12月27日正式发布。这两款手机在质量上表现出色。Redmi K60拥有墨羽、晴雪、幽芒三种玻璃后盖配色,并且还有一款素皮晴蓝配色可供选择。它的厚度为8.59mm,重量为204g,同时还提供了一种稍
【Desire 5088搜狗手机输入法下载】HTC Desire 5088搜狗手机输入法12.1.1免费下载
搜狗输入法,拥有超大中文词库,输入更加精准,智能。搜狗智能旺仔带你用表达,斗图,妙语,输入更加有趣。******特色功能******【搜狗专属超大词库】搜狗多年积累,中文系统词库,输入首选更准确【语音输入】更快更准的语音输入,没有网络
相关文章
推荐文章
发表评论
0评