---

前言

大家好啊，我是北极熊。RAG是近几年越来越火的一个词，但是大家可能还不清楚RAG到底是什么，它是干什么的呢？这个系列我就带大家好好聊聊什么是RAG。

人工智能，一个早在1956年就被提出的概念，随着2022年ChatGPT的爆火出圈，又重新走进了大众的视野中。以ChatGPT，DeepSeek等为代表的大语言模型（LLM），可以说已经满足了人们对于人工智能的想象，它能生成流畅的文章、完成人们给它的各种任务、甚至还可以流畅的回答各种奇思妙想的问题。然而，随着它们在各个领域的应用，大家也逐渐发现，这些看似聪明的LLM也有一个严重的问题—— 它们有时会“胡编乱造”。 这就是我们所说的 “AI 幻觉” 问题。

本文将探讨AI幻觉的成因，分析它产生的不同类型，并介绍一种有效的解决方案——RAG（检索增强生成），以及如何通过博查AI Search API来体验这一创新技术。

一、什么是 AI 幻觉？为什么 AI 会胡编乱造？

AI 幻觉指的是AI生成的内容中出现的虚假或错误信息。大语言模型（如GPT系列）并不像人类一样理解事实，它们生成文本的原理主要是通过预测下一个最有可能出现的词语，而不是基于常识或现实世界的知识。举个例子，就好像，当你遇到一个外国人时，脑子里想的第一个单词是不是“Hello，How are you？”，如果把我们比作模型，那我们的训练数据集中有大量的“Hello，How are you？”，所以在我们遇到“Hello”的时候，就会下意识的说出“How are you？”，这就是大模型的逻辑。这意味着，尽管AI能够通过大量的训练数据模拟人类语言的结构，但它并没有真正的“理解”能力，而只是模仿语言的模式。

一个经典的例子是，当你想要了解某个领域的前沿技术时，你向ChatGPT询问这个领域的参考文献，结果AI生成了一堆完全不存在的论文，甚至编造了它们的DOI（数字对象识别码）。 这种现象虽然让人感到惊讶，但对于AI来说，这不过是基于其训练数据中存在的语言模式进行的文本生成，并没有去验证这些论文的实际存在性。

还有一个例子，AI生成的虚假新闻报道也曾引起关注。 OpenAI的对话机器人“声称”，《华盛顿邮报》于2018年3月发表的一篇文章中提及，乔治·华盛顿大学法学院教授乔纳森·特里在一次前往阿拉斯加的修学旅行中不仅发表过性骚扰的言论，还试图上手触摸一名学生。但事实是，《华盛顿邮报》根本没发过这篇文章，也不存在阿拉斯加修学旅行，特里更是从来没有被指控过性骚扰。

更为严重的情况出现在法律领域。 在2023年3月份，律师彼得·洛杜卡(Peter LoDuca)和史蒂文·施瓦茨(Steven Schwartz)代表其客户罗伯托·马塔(Roberto Mata)起诉阿维安卡航空公司，提交了一份人工智能撰写的法律文书。但经过仔细查证之后，却根本找不到这些判决案例。最后，律师施瓦茨不得不承认，他使用了ChatGPT来"补充 "他对该案件的研究。施瓦茨表示，他没有意识到ChatGPT的内容有可能是虚假的。

二、AI 幻觉的不同类型：不仅仅是“编造”

AI 幻觉并非单一的“编造事实”，其表现形式非常多样。具体来说，AI可能出现以下几种幻觉现象：

1. 完全虚构（Fabrication）：AI完全编造出从未发生过的事件、人物、论文或数据。例如，它可能会生成一个不存在的科学实验或某位学者的虚假引文。就比如上文中法律里面的虚假案例。

2. 错误归因（Misattribution）：AI错误地将某个信息来源归给了另一个人或机构，或将某个概念错误地归属于某位专家。这种误归因有时会导致看似合理的解释，实际上却是错误的。就比如上一章中被冤枉的特里教授。

3. 语境误解（Contextual Misunderstanding）：AI有时会误解问题的真正意图，导致生成的回答虽然看似相关，但实际上却偏离了问题的核心。例如，AI在回答关于某个技术问题时，可能会偏离正确的技术细节，生成无关的内容。这个问题其实还好，相比于其他问题来说，这个只是不能解决你的问题。

4. 过度自信（Overconfidence in Wrong Answers）：AI经常表现出对错误答案的过度自信，甚至在答案完全错误时，依然会给出高置信度的回应。这种现象使得用户可能误信AI的错误信息。这个就是因为AI模型在训练时的“下一个单词预测”，专业术语叫“Next Token”。

这些不同类型的幻觉问题，进一步揭示了AI在生成内容时的局限性和潜在风险。

三、为什么大模型会产生幻觉？

大语言模型之所以会产生幻觉，主要与其训练和生成机制有关。 上文中我们也提到过，LLM是通过海量数据进行训练的，这些数据是静态的，不会实时更新，因此AI在处理最新信息时往往会存在滞后性。例如，AI可能不知道某些最近发生的事件或发布的研究成果，因为它无法访问实时数据。

第二个原因，就是大模型缺乏自动核查机制。 它只是通过匹配已知的语言模式生成文本，而不会对生成的内容进行验证。也就是说，AI并没有能力“思考”自己生成的答案是否准确，它只是基于概率计算输出最有可能的结果。所以现在有些大模型生成内容之后，会在下面标注一个“内容由AI生成，请仔细辨别”。

而且，LLM的生成方式本身也有限。 它并不像传统的检索引擎那样会从互联网上查找信息，而是完全依赖于其训练数据生成内容。由于训练数据并不完美，且包含了大量可能的偏差，AI在生成内容时容易出现不准确或错误的回答。

四、传统的应对方案：为什么它们还不够？

为了解决AI幻觉问题，研究人员曾经尝试了各种各样的方法，但遗憾的是，效果并不理想。下面为大家介绍几种传统的解决方案。

首先，研究人员尝试在特定的数据集上微调模型（Fine-tuning），通过这种方式来让AI记住更多事实信息，尽量避免它产生不准确的回答。然而，随着知识更新速度的加快，AI仍然可能输出过时的信息，尤其是在快速变化的领域，如科技和政治等。这种方式虽然有效，但是效果不大，仍然会有不可避免的大模型幻觉问题。也就是从1减到了0.9。

研究人员曾经还尝试过使用人工反馈（RLHF，Reinforcement Learning with Human Feedback）来改进大模型幻觉问题，目的是通过人工标注来优化AI的输出，减少错误。然而，这种方式无法彻底根治幻觉问题，因为人工反馈的覆盖范围有限，且无法解决AI模型自身缺乏验证机制的问题。大家可以想象一下，大模型的训练数据集可能会有好几亿的数据样本，人工标注的成本太高，而且还会有时间成本，标注完这部分样本后，已经过了很长时间，样本过时了，又要重新标注。

五、RAG：如何让 AI “会查资料”，减少幻觉？

为了有效减少幻觉问题，RAG（Retrieval-Augmented Generation，检索增强生成）应运而生。 大家可以通过名字了解到，RAG的核心理念就是通过结合检索与生成的方式，使AI不仅仅依赖于其训练数据，而是能够实时获取外部信息来辅助生成更准确的答案。简单的说，就是限制模型的回答范围，让他不要胡说八道。

具体来说，RAG的工作原理是：当AI需要回答某个问题时，它首先会通过检索引擎查询数据库或互联网，获取最新的、可靠的信息。然后，基于这些信息，AI会生成最终的答案。 这种方式不仅增强了AI的时效性，还提高了答案的准确性，因为AI不再单纯依赖其过时的训练数据，而是结合了最新的信息来源。

这种方法解决了传统模型无法实时获取外部信息的问题，使得AI能够更准确地回答问题，减少了“胡编乱造”的情况。就像人一样，你想要知道某个问题的答案，就先要到图书馆里面查阅相关的书籍，然后再自己总结感悟。RAG就是把这个过程放到AI的身上。

六、通过博查AI Search API体验简单的一体式RAG

博查搜索提供的 AI Search API 直接实现了RAG的概念，你可以通过几行代码调用API，然后API内部会先联网搜索相关信息，然后再通过内部的大模型进行总结，并返回给用户回答和用户可能想要问的问题。在这整个过程中，用户就只需输入问题，博查的AI Search API就会自动检索相关信息并生成回答，过程中还会提供可能的相关问题，进一步提升搜索的智能性。

使用博查AI Search API 的文章之前已经介绍过，这里就不过多介绍了，感兴趣的朋友可以查看我之前的文章 【硬核教程】博查AI Search API实战：全网搜索+智能问答+多模态卡片一键集成！AI时代的搜索引擎！。这里就简单给大家看一下效果。

通过博查的AI Search API，用户可以体验到一个更加智能和可靠的搜索助手，减少了因幻觉问题而带来的困扰，同时提高了信息获取的效率和准确性。这种一体化的RAG方案不仅在技术上具有创新意义，也为实际应用提供了极大的便利。

结论

随着AI技术的不断进步，未来的AI不再是“一个人坐在房间里胡编乱造”，而是“一个会查资料、会核实信息的助手”。

RAG方案的出现，标志着AI从“生成”到“检索生成”的转变，使得AI不仅能够生成内容，还能够验证和参考实时信息，提升其可靠性。在AI的下一步发展中，我们不仅要让它更加智能，更要让它 更可靠。下一篇文章，我将带大家深入认识一下RAG的具体概念。

🔗 系列文章推荐：

【你不知道的搜索进化史（一）：从图书馆到AI搜索助手的演变】

【你不知道的搜索进化史（二）：为什么有些问题，你在搜索引擎上永远找不到答案？】

【你不知道的搜索进化史（三）：搜索 vs 问答，我们真的需要搜索引擎吗？】

【你不知道的搜索进化史（四）：如何让信息主动找到你？】