---

前言

大家好啊，我是北极熊。今天我们不聊具体的 AI 项目，继续跟大家聊点最近人工智能领域非常火的一个概念——多模态 AI。

过去，人工智能一直专注于单一类型的数据处理，比如自然语言处理只懂文本，计算机视觉只会看图像。但人类的感知是多模态的，我们不是单靠文字或图像理解世界，而是结合视觉、听觉、触觉等多种信息来做决策。

为了让 AI 更接近人类的认知方式，多模态 AI 诞生了。这项技术能让 AI 同时理解和处理不同类型的数据，比如让 ChatGPT 不仅能聊天，还能看懂图片，甚至听懂语音指令。接下来就让我带大家认识一下什么是多模态AI。

一、什么是多模态 AI？

多模态 AI，顾名思义，就是能处理多种数据模态的 AI。那么什么叫数据模态呢？数据模态就是指不同类型的信息，比如文本、图像、语音、视频，甚至传感器数据。 如果一个 AI 只处理一种类型的数据，比如 ChatGPT 只能理解文本，那它就是单模态 AI。而多模态 AI 则能跨越这些数据类型，实现更丰富的信息理解和处理。而这里提到的AI其实主要指的就是大模型了，也就是大家经常听到的LLM。

• 单模态 AI 就像是专攻一门学科的专家，比如专门处理语言，来和你聊天的chatGPT；专门生成视频的视频大模型，可灵大模型等等。
• 而多模态 AI 就像是一个全才，能整合多个领域的信息。举个例子，假设你给 AI 一张猫的照片，并问它：“这是什么？”如果它是一个语言模型，也就是说，它只能理解你的问题，却无法“理解”图片。如果它是一个计算机视觉模型，它能识别出“猫”，但无法理解你的提问。而多模态 AI 能既看图像又理解文本问题，最终回答：“这是一只猫。”这就是多模态 AI 的核心能力——跨模态理解和融合。

其实不知道大家发现没有，你使用DeepSeek时，上传附件会提示，只能提取文字部分。但是你在使用ChatGPT的时候，对你上传的附件是没有限制的，图片也可以，这就是DeepSeek目前只能处理文字，但是ChatGPT已经可以处理多模态数据了。

二、为什么多模态 AI 很重要？

我举个例子，之前我看过一个电视剧，其中有一个场景是主角团和对手比赛，比赛的题目是： 给你一张图片，用最快的速度找到这个图片是在哪里拍的。 那么对于这个问题，DeepSeek目前就是处理不了的，因为它只能理解文字。但是ChatGPT就可以理解，如果它的数据库中还包括地图的话，它可能就会直接找到这个图片的拍摄地点。这就是区别！

当 AI 具备多模态能力后，交互会变得更加自然。现在的 AI 助手大多数还是基于文本交互，比如 Siri 和 豆包 主要依赖语音和文字。但未来的 AI 可能会像真人一样，能听、能看、还能理解上下文。比如，你用语音对 AI 说：“这张图的风格像不像梵高的画？”传统 AI 可能只能识别你的语音，但无法看懂图片，而多模态 AI 可以结合语音和图像分析，给你一个准确的回答。

单一模态的信息往往是不完整的。 比如，单靠文字描述“一个笑得很开心的人”，不同的人可能会有不同的理解。而如果 AI 能结合图像，它就能更准确地理解这个概念。再比如，在医疗诊断中，医生不仅依赖患者描述，还要结合 CT、X 光、MRI 这些图像数据来做出判断。多模态 AI 就可以更大程度上的模拟人类，同时结合患者描述和CT图片来给出患者的治疗建议。这自然会比只听患者描述要准确的多。

除此之外呢，很多复杂任务也要求 AI 结合多种数据源才能完成，比如自动驾驶需要同时分析摄像头画面、雷达数据、GPS 位置等。智能安防不仅要识别人，还需要分析声音、动作等信息。电商推荐系统则需要结合用户的购买历史、搜索记录、浏览行为甚至社交媒体内容来优化推荐效果。多模态 AI 可以让这些任务处理变得更智能、更高效。

三、多模态 AI 的发展历程

多模态 AI 的发展历程其实可以看作是 AI 逐步向“更像人”的方向进化的过程。

最早，AI 只专注于单一数据模态，比如 NLP（自然语言处理）领域的 BERT、GPT-3 这样的模型专门用于处理文本，计算机视觉领域的 ResNet、EfficientNet 只用于图像识别，而语音识别系统仅限于处理音频。这个阶段的 AI 就像是一个“偏科的人才”，擅长某一类数据，但无法跨模态理解信息。

到了深度学习兴起的阶段，研究者开始尝试让 AI 结合不同数据类型进行任务，比如让图像识别模型能够生成文本描述，或让语言模型理解一些基本的视觉信息。这种跨模态学习的尝试，为多模态 AI 的发展奠定了基础。

真正让多模态 AI 取得突破的，是近年来大模型的兴起。 OpenAI 的 CLIP 模型让 AI 能够将图像和文本映射到同一个语义空间，使 AI 可以通过文字理解图片，或者通过图片搜索相关文本。这一突破让 AI 具备了基本的跨模态认知能力。随后，DALL·E 这样的模型进一步扩展了 AI 的多模态能力，它能够根据文本描述生成高度匹配的图像，这意味着 AI 已经可以从一个模态（文本）转换到另一个模态（图像）。

到了 GPT-4V 和 Gemini 这样的多模态大模型，它们已经可以处理文本、图像，甚至部分语音任务，让 AI 具备了更全面的理解能力。它们可以不仅阅读文本，还能“看”图片，甚至“听”音频，做到更自然的人机交互。

未来，多模态 AI 可能会继续向通用人工智能（AGI）迈进，让 AI 具备真正跨模态的理解、推理和创造能力。也就是说，AI 可能最终能像人类一样，不仅能看、能听、能说，还能在不同模态之间自由切换，真正做到“全面感知世界”。

四、博查 API 的多模态之路

那么，多模态 AI 和搜索有什么关系呢？

其实，搜索引擎早已不再局限于传统的关键词匹配，而是在向更智能的方向进化。传统搜索主要依赖文本匹配，而多模态搜索能让 AI 理解图片、语音等信息。现在已经有相关的技术在研究这方面了，比如智能识图功能，语言输入功能等，但是这些还不算真正的多模态智能搜索引擎。

博查 API 提供的Web Search API 可以同时返回网页，图片，视频 （视频功能现在已经下线，或许在不久之后就可以重新上线？）等内容，实现多模态信息的拓展。

博查API 提供的AI Search API呢，可以智能提取用户搜索中的关键词，返回相关的模态卡信息，这里的模态卡也是多模态的内容哦，比如说，你搜索“西瓜”，就会返回百科卡，从图片到细节详细的介绍西瓜是什么。

五、多模态 AI 的挑战与未来

虽然多模态 AI 很强大，但仍面临不少挑战。

• 首先，技术难度大，不同模态的数据格式不同，如何让 AI 统一理解它们？
• 再就是，计算成本高，多模态 AI 需要更强的计算能力，训练和推理的成本较高。
• 此外，数据标注也是一个难题，要让 AI 学会理解多模态数据，需要大量高质量的标注数据。

不过，随着模型优化和硬件升级，这些问题都会逐步得到解决。未来，多模态 AI 可能不仅仅用于搜索、医疗、自动驾驶等领域，还会深入到更多日常生活场景中，让 AI 变得更加智能和高效。

总结

多模态 AI 让 AI 更加智能，推动 AI 从“单一理解”向“全面感知”进化。它的应用场景广阔，影响深远，尤其是在搜索引擎领域，已经开始展现出明显的优势。未来的 AI 可能不只是助手，而是能真正理解世界的智能体。

下一篇文章，我们将深入解析多模态 AI 如何工作，探讨其中的关键技术，敬请期待！

---

🔗 系列文章推荐：

【轻松认识RAG（一）：AI 为何会一本正经地胡说八道？】

【轻松认识RAG（二）：RAG——让 AI“会查资料”的关键技术】

【轻松认识RAG（三）：手把手带你实现 博查API + LangChain + DeepSeek = RAG的项目实战】

【轻松认识RAG（四）：RAG 的前沿发展与未来趋势】