HtmlRAG开源，RAG系统联网搜索能力起飞~

HtmlRAG开源，RAG系统联网搜索能力起飞~

2024-12-26 18:05

网络是RAG系统中使用的主要外部知识来源，许多商业系统，如ChatGPT和Perplexity，都使用网络搜索引擎作为他们的主要检索系统。传统的RAG系统将网页的HTML内容转换为纯文本后输入LLM，这会导致结构和语义信息的丢失。

HTML转换为纯文本时的信息丢失

为此，提出了HtmlRAG，它使用HTML而不是纯文本作为RAG系统中外部知识的格式。为了应对HTML带来的长上下文，提出了无损HTML清理和基于两步块树的HTML修剪（Two-Step Block-Tree-Based）。

HtmlRAG总体概述

无损HTML清理：这个清理过程仅移除完全不相关的内容，并压缩冗余结构，保留原始HTML中的所有语义信息。无损HTML清理压缩后的HTML适用于具有长上下文LLMs的RAG系统，并且不愿意在生成之前丢失任何信息。
基于两步块树的HTML修剪：基于块树的HTML修剪包括两个步骤，这两个步骤都在块树结构上进行。第一步修剪使用嵌入模型为块计算分数，而第二步使用路径生成模型。第一步处理无损HTML清理的结果，而第二步处理第一步修剪的结果。

块分数计算。块树通过分词器转换为令牌树，相应的HTML标签和令牌用相同颜色标记。令牌生成概率在右上角显示，虚线框中的令牌不需要推理。在块树的右上角，显示了块概率，概率可以从相应的令牌概率中推导出来

生成模型Prompt

在六个不同的问答数据集上进行了实验，包括模糊问答、自然问答、多跳问答和长形式问答，HtmlRAG在所有数据集上的表现均优于或等于现有的基于纯文本的后检索处理方法：BM25、BGE、E5-Mistral、LongLLMLingua、JinaAI Reader

最新文章

大家是不是经常出现这个的问题，电脑使用的越久，开机的时间会越来越长。这是因为随着使用时间的增加，电脑垃圾也会越来越多，影响到电脑的运行速度。那么有什么办法能解决电脑开机慢的问题吗?一、优化系统1、减少

近年来,随着短视频的火爆,越来越多的人开始关注视频号。而为了提高视频号的曝光量和影响力,许多商家和自媒体人开始关注如何吸引有效粉丝。那么,如何让粉丝下单呢?如何计算视频号的关注人数是否有效呢?本文将为你一一解答。视频号有效粉丝怎

DeepArt：使用深度神经网络，DeepArt能将普通的照片转化为艺术画作，其效果惊艳且充满创意。它的操作相对简单，非常适合不具备专业绘画技能的用户。但需要付费才能获得高清图像。搜狐简单AI：这款工具的功能相对丰富，不仅支持多种风格，还

在当下这个数字化时代，独立站已成为众多品牌和企业拓展线上业务的重要阵地。然而，面对激烈的市场竞争和瞬息万变的网络环境，如何有效提升独立站运营的自主性，成为了我们每一个运营者必须深思的问题。根据我多年的实战经验，我发现自主性

赢在广告少!必应取代百度成国内桌面搜索引擎第一【CNMO新闻】提到百度相信大多数人的第一印象都会想到百度搜索。作为国内最知名的搜索引擎，自从谷歌退出国内市场后，百度就开始坐稳还有呢？微软必应在中国内地桌面搜索市场的份额便进入了

环境变量（environment variables）一般是指在操作系统中用来指定操作系统运行环境的一些参数，如：临时文件夹位置和系统文件夹位置等。环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多

刁哥数学官方版是一款高考数学学习软件。软件学习方式独特，数学学习高效，见效快，是高考充分阶段好帮手，让用户能观看所有视频，并下载。有需要的用户欢迎下载体验亲爱的小朋友，2016年高考无论你渴望数学要突破145，还是仅仅梦想着及格

随着网络安全威胁的不断增加，Google（谷歌）推出了一种强大的安全功能，即谷歌两步验证。这是一种为用户提供额外安全防护的措施，能够有效防止未经授权的人访问你的谷歌账户。谷歌两步验证是一种加强用户账户安全的方法。除了输入正确的用

1、bWAPP 免费和开源的web应用程序安全项目。它有助于安全爱好者及研究人员发现和防止web漏洞。地址：http://www.itsecgames.com/ 2、Damn Vulnerable iOS App (DVIA) DVIA是一个iOS安全的应用。它的主要目标给移动安全爱好者学习iO