什么是RAG?什么是GraphRAG?一文带你读懂知识库机器人原理

在人工智能领域,知识库机器人已经成为推动智能化发展的重要力量。它们能够高效地处理海量信息,为用户提供精准、及时的知识服务。今天,我们将一起揭开知识库机器人的神秘面纱,探讨知识库机器人的原理。

什么是RAG?

知识库的整套技术在学术界有一个专业名词,叫RAG,即Retrieval-Augmented Generation,翻译成中文就是检索信息增强,是一种将信息检索机制与AI模型结合的创新方法。

RAG还有一个通俗的叫法,叫外挂知识库。外挂的含义就是,和AI大模型是分离的。如果不分离,那就是模型微调了,又是另外一回事了。

RAG的原理

RAG的原理其实很简单,就是模型生成回答时,不是自己直接生成,而是先去查一下知识库,再进行生成。通俗的来说,就是开卷考试(RAG)和闭卷考试(直接生成)的差别。

从流程上来说,绝大多数RAG可以分为这3步:

1、创建知识库

  (1)输入数据(上传文件)

  (2)处理数据(切片+向量化)

  (3)存储数据(存到向量数据库)

2、查询知识库

  (1)搜索数据(向量检索)

  (2)处理数据(重排序)

  (3)输出数据(挑选相关性高的)

3、AI生成答案

什么是RAG?什么是GraphRAG?一文带你读懂知识库机器人原理

通俗的来说,就是将一个巨大的数据,切成很多小块,当AI进行问答时,搜索出关联性高的小块,根据这些小块的内容进行回答。这样的好处就是:AI不需要处理大量的数据,只需要处理很少量的数据就可以了,提高了速度,降低了成本。

但是劣势也是很明显的,就是断章取义。由于AI只拿到了部分数据,无法看到全局,所以这是RAG的天然劣势。

什么是RAG?什么是GraphRAG?一文带你读懂知识库机器人原理

RAG的关键

RAG的本质就是断章取义,那么怎么断,怎么取,就决定回答的质量,在整个过程中,AI的作用其实是很小的。关键是在第一和第二步中,也就是数据处理数据检索。

数据处理的关键是如何切片,302.AI提供了非常丰富的切片设置,具体可以看这一篇文章:https://help.302.ai/docs/ru-he-jin-xing-qie-pian-you-hua。

数据检索的关键是如何找到关联性大的内容,302.AI采用了双重检索的机制,先使用向量检索粗检索,再用重排序算法(rerank)精检索,最后输出到大模型,大大提高了精度。

GraphRAG

GraphRAG是微软提出的一种新式的RAG技术,原理就是在数据输入阶段,用AI对数据进行了图谱化处理,让AI去理解数据,建立数据语义的关联,使检索精度大大提高。

GraphRAG的本质,是在原有的数据基础上,用AI创造了新的数据。这种新的数据是通过构建知识图谱来实现的,这不仅有助于更好地组织和存储信息,还能使AI在进行检索时能够更智能地识别和推理数据之间的关系。这种方法有效地提升了信息检索的准确性和效率,使得系统在处理复杂查询时表现得更加出色。此外,GraphRAG的图谱化处理还可以帮助发现数据中的隐藏模式和趋势,从而为用户提供更深刻的洞察和决策支持。

什么是RAG?什么是GraphRAG?一文带你读懂知识库机器人原理

GraphRAG也不是没有缺点的,第一就是会比较贵,因为在数据录入的过程中,需要AI进行处理,一定会产生AI的费用。第二就是比传统RAG要慢,因为检索图谱的过程会复杂很多。

302.AI现已独家提供GraphRAG的知识库接入和API接入,代码基于Nano-GraphRAG开发,更加轻量化。

知识库的原理就是AI先查询再回答。那么如何查询到关联性高的片段,就是知识库最核心的部分。302.AI提供了2种模式:传统RAG和GraphRAG,可以根据需求去选择,下面将简单展示一下如何使用302.AI的知识库机器人:

什么是RAG?什么是GraphRAG?一文带你读懂知识库机器人原理

选择好后填写知识库名称和描述进入编辑知识库页面(不填会自动生成),选择【导入文档】或是复制【链接】进行导入数据(下面以GraphRAG为例):

什么是RAG?什么是GraphRAG?一文带你读懂知识库机器人原理

导入成功后表明知识库已经建立完成,接下来就是要选择模型及刚刚新建的知识库,目前提供了国内外多种模型选择,可满足不同任务和领域的需求。

什么是RAG?什么是GraphRAG?一文带你读懂知识库机器人原理

知识库机器人创建成功后会直接跳转进入聊天界面,这样就可以向知识库机器人进行提问啦!

什么是RAG?什么是GraphRAG?一文带你读懂知识库机器人原理

希望通过本文对RAG和GraphRAG的解析,能让读者更好地理解知识库机器人背后的强大技术支撑。随着人工智能技术的不断进步,知识库机器人将在更多领域发挥巨大潜力,同时,我们也期待看到更多创新性的应用场景涌现,让知识库机器人更好地服务于人类社会,推动知识的传播与进步。

(0)
302.AI302.AI
上一篇 2024 年 9 月 10 日 下午6:47
下一篇 2024 年 9 月 12 日 下午6:23

相关推荐

  • GPT-4o新版本突然上线,结构化输出是什么?

    8月6日,OpenAI的官网悄悄上线了新版本gpt-4o-2024-08-06模型。去年的DevDay活动中,OpenAI推出了JSON模式,而这次升级的新版本在API中引入了结构化输出,这一新功能旨在确保模型生成的输出与开发人员提供的 JSON 架构完全匹配。 gpt-4o-2024-08-06采用结构化输出的新模型在复杂 JSON 模式跟踪的评估中获得了…

    2024 年 8 月 8 日
    12300
  • 你真的会使用AI吗?CO-STAR超给力提示词框架,速看

    就在今年5月,新加坡政府科技局(GovTech)组织了首届 GPT-4 提示工程大赛,吸引了超过 400 名杰出的参与者。冠军获得者Sheila Teo分享了如何使用一些简单有效的技巧来优化对ChatGPT的使用。 对于AI使用者来说,结构化的提示词框架能够帮助我们以一种更系统、更明确的方式与 AI 交互。这种清晰性对于确保 AI 系统能准确理解用户的意图至…

    2024 年 7 月 12 日
    11000
  • 时隔两月Meta再发布新模型Llama 3.2,视觉理解方面媲美GPT-4o-mini?!

    距离7月23日Llama 3.1发布才刚刚过去 2 个月,Meta公司在9月26日又官宣推出最新AI模型系列Llama 3.2,此次Llama 3.2系列包括四个版本:1B、3B、11B和90B。 Llama 3.2 1B和Llama 3.2 3B都是轻量级的模型,适合边缘和移动设备的轻量级纯文本模型。而Llama 3.2 11B和Llama 3.2 90B…

    2024 年 9 月 27 日
    3700
  • 提升AI协作效率,国内用户如何使用Artifacts功能?

    最近,由于汉语新解prompt的爆火,让Claude模型再次受到广泛关注。 提到Claude,或许大多数用户都会联想到Claude Artifacts,Anthropic在官网宣布推出Claude 3.5 Sonnet的同时,也宣布将在 Claude.ai上推出Artifacts功能,这一功能在用户请求Claude生成代码、文档或网站设计时,能够将这些生成的…

    2024 年 9 月 19 日
    6600
  • 火星文避雷评价帖,AI到底能不能看懂?!

    AI到底能不能看懂火星文差评!看看哪个模型表现更好! 大家都知道,在《歌手2024》播出的时候,13.8和13.11哪个大的问题难倒了不少AI模型。而最近,AI模型迎来了新一轮考验来了,起因是这样的,为了防止外国人通过翻译软件看懂原意,一些中国人在海外订酒店吃亏后,用火星文提醒同胞不要再来,而这些帖子被截图搬运到了国内的社交媒体平台后很快就火了,引发了不少网…

    5天前
    4400

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注