多模态（Multimodal）

模态（Modalities） 是什么？

在机器学习和人工智能中，模态指的是数据的不同类型或形式。常见的数据模态包括：

• 文本：自然语言，例如文章、对话等。
• 图像：静态图片，如照片、图形等。
• 视频：动态视觉内容，序列化的图像。
• 音频：语音、音乐或其他声音信号。
• 传感器数据：如温度、运动、GPS 等数据。

每一种模态都有其独特的数据结构和特征。传统的 AI 模型通常只能处理单一模态的数据，而多模态模型能够融合和处理来自多种模态的输入。

Multimodal Model 的工作原理

多模态模型通常结合多个独立的神经网络模块，每个模块专门用于处理一种模态。例如，一个多模态模型可能会结合一个 卷积神经网络（CNN） 用于图像处理和一个 Transformer 用于文本处理。然后，这些独立处理的模态信息会通过某种形式的融合机制进行整合，模型可以基于这些融合后的信息进行预测、生成或者分类。

多模态模型的核心挑战在于如何跨模态对齐和融合信息。例如，在图像和文本结合的模型中，如何使模型理解文本描述与图像内容之间的关联是关键问题之一。

Multimodal Model 的应用场景

1. 图像-文本生成与理解：
   • 文本生成图像：如 OpenAI 的 DALL·E 模型，它能够根据输入的文本描述生成图像。用户输入一段文字描述（如“骑着蓝色摩托车的小猫”），模型会生成一张与描述相符的图片。
   • 图像生成文本：如 图像描述生成 模型（image captioning），它可以根据一张图片生成对应的自然语言描述。这在无障碍访问（例如帮助视障人士描述图片内容）中具有广泛的应用。
2. 视频理解与生成：
   • 多模态模型可以从视频和音频中同时提取信息，理解语境并生成相应的文本或新的视频。例如，它可以分析一段视频并生成视频的摘要，或者基于视频生成对应的字幕。
3. 语音与文本处理：
   • 在语音助手中，多模态模型能够处理语音输入，并结合文本信息做出更准确的响应。语音识别技术和自然语言生成技术的结合就是多模态模型的典型应用。
   • 例如，AI 能够根据语音命令来控制图像的生成或操作。
4. 视觉问答（Visual Question Answering, VQA）：
   • 在 VQA 系统中，模型会基于图像和文本输入来回答问题。用户向系统提供一张图片和一个与之相关的问题，模型会分析图像和问题文本，提供准确的答案。比如，给定一张图片和问题“这张图片里有多少只猫？”，模型将分析图片并返回正确的数字。
5. 增强现实（AR）和虚拟现实（VR）：
   • 多模态模型在 AR/VR 中可以帮助创建更加沉浸式的体验。例如，模型可以结合用户的手势、语音、环境感知等多模态信息，实时生成虚拟内容并进行交互。
6. 跨模态生成（Cross-modal generation）：
   • 在跨模态生成中，模型可能接收一种类型的输入并生成另一种模态的输出。例如，输入文本生成音乐，或输入图像生成音频描述。

Multimodal Model 的优势

1. 增强理解和生成能力：
   • 多模态模型可以结合来自不同模态的数据，提供更加丰富和全面的理解。例如，结合图像和文本信息的模型可以在复杂场景下提供比仅处理图像或文本更好的结果。
2. 提高泛化能力：
   • 由于模型在训练时能够同时处理不同类型的数据，因此多模态模型在应对新的场景或任务时往往比单模态模型更具泛化能力。
3. 更加自然的人机交互：
   • 人类的交流方式是多模态的（我们使用语言、视觉线索、声音等进行交流），多模态模型能够通过整合这些模态数据，提供更加自然、直观的人机交互方式。

Multimodal Model 的挑战

1. 数据对齐和融合：
   • 不同模态的数据通常有不同的结构和时间顺序（例如音频和视频数据的对齐），如何将这些数据进行有效对齐和融合是多模态模型的一个难点。
2. 计算复杂性：
   • 处理多种模态的数据需要更大的计算资源，因为模型不仅要理解每种模态的数据，还要整合它们。这会导致模型的复杂性和计算需求显著增加。
3. 数据稀缺性：
   • 尽管许多单模态的数据（如图像或文本）已经被广泛标注和收集，但多模态的数据集（如图像-文本配对、视频-音频配对）相对较少。建立大规模的高质量多模态数据集仍是一个挑战。

Multimodal Model 示例

1. CLIP（Contrastive Language-Image Pretraining）：
   • 由 OpenAI 开发，CLIP 是一种图像-文本联合训练的模型，它能够理解图像和文本之间的关系，并在没有专门训练的情况下执行多种任务，如图像分类、图像搜索和图像生成。
2. DALL·E：
   • OpenAI 也开发了 DALL·E，它能够根据文本描述生成图像，是一个经典的多模态生成模型。
3. Flamingo（DeepMind）：
   • Flamingo 是一种能够处理图像和文本输入的多模态模型。它在处理和生成文本与图像结合的任务中表现出色，如视觉问答和图像描述。

总结

在生成式 AI（GenAI）中，Multimodal Models（多模态模型） 通过处理和融合来自不同模态（如文本、图像、音频等）的数据，实现更加丰富、自然的理解和生成能力。这类模型的应用非常广泛，从视觉问答、图像生成到跨模态交互，正在改变我们与机器互动的方式。虽然多模态模型面临一些技术挑战，但其带来的潜力和机会是巨大的。

Spring AI Multimodality

结构图

多模态是指模型同时理解和处理来自各种来源的信息的能力，包括文本、图像、音频和其他数据格式。

Spring AI Message API 提供了支持多模式 LLM 所需的所有抽象。

UserMessagecontent字段主要用于文本输入，而可选media字段允许添加一个或多个不同模态的附加内容，例如图像、音频和视频。MimeType指定模态类型。根据使用的 LLM，Media数据字段可以是作为对象的原始媒体内容Resource，也可以URI是内容。

案例演示

创建多模态对话

• 创建会话
  
• 修改会话名称
  

OCR图片识别

• 上传图片

• 识别图片

  

视频生成

• 输入指令

  

• 视频生成

  

图片生成

• 输入指令

  

• 图片生成

  

基于记忆的对话

案例总结

ocr识别真的很顶，对传统的ocr识别真是降温打击
基于本机知识库（RAG）,实现一个记忆会话助手

代码片段

体验地址

https://lucifer-cloud.com/chat/

源码地址

• 后端代码：https://gitee.com/luguangdong/hawkeye-ai.git
• 前端代码：https://gitee.com/luguangdong/hawkeye-chat.git