导读

视觉-语言模型（VLMs）在自然场景推理方面取得了显著进展，但其在医学影像领域的潜力仍被大量未探索。医学推理任务由于医学图像固有的复杂性，需要强大的图像分析和生成有充分依据的答案，因此面临独特的挑战。透明度和可信度不仅对于获得临床医生的信心至关重要，而且对于满足严格的监管要求也至关重要。

为了应对这些挑战，作者提出了Med-R1，这是一个新颖的框架，旨在研究强化学习（RL）是否可以增强VLMs在医学推理中的泛化能力和可信度。基于最近引入的DeepSeek策略，作者采用组相对策略优化（GRPO）进行RL，鼓励模型通过奖励信号探索推理路径。与通常过度拟合训练数据且难以泛化的监督微调（SFT）不同，RL使模型能够发展出更稳健和多样化的推理能力。作者全面评估了Med-R1在八种不同的医学影像模态上的表现：计算机断层扫描（CT）、磁共振成像（MRI）、超声、皮肤镜检查、眼底摄影、光学相干断层扫描（OCT）、显微镜图像和X射线成像。与 Baseline 模型Qwen2-VL-2B相比，Med-R1在这些模态上的平均准确率提高了29.94%，甚至超过了参数量多36倍的Qwen2-VL-72B模型。

为了评估模型的一般化能力，作者进一步对其在五种不同的问题类型上进行了测试：模态识别、解剖识别、疾病诊断、病变分级和生物属性分析。Med-R1也表现出卓越的跨任务泛化能力，在问题类型泛化准确率上优于Qwen2-VL-2B和Qwen2-VL-72B，分别提高了32.06%。这些结果表明，RL不仅增强了医学推理能力，而且使参数高效的模型能够超越参数量显著更大的模型。结合其可解释的推理输出，Med-R1为开发可泛化、可信且可临床部署的医学VLMs开辟了新的潜在方向。

1 引言

视觉-语言模型（VLMs）在自然图像推理方面取得了显著进展（例如，GPT-4o [16]、Gemini-1.5 [31] 和 Qwen-VL [2]），在视觉问答（VQA）和多模态对话等任务中展现出令人印象深刻的性能。这些进步得益于大规模视觉-语言预训练和监督微调（SFT），使得模型能够将视觉内容与文本信息关联起来。然而，将VLMs应用于医学影像推理仍然是一个重大挑战。与自然图像不同，医学数据需要精确的解释，要求VLMs不仅生成最终结论，还要生成与临床逻辑一致的逐步推理过程。例如，在CT扫描中诊断肺结节需要定位病变、分析形态学特征以及整合病史——这一推理链必须既准确又可解释，才能获得临床医生的信任。此外，医学影像模态的多样性（例如，CT、MRI、显微镜成像）和任务类型（例如，诊断、病变分级）对模型的可推广性提出了严格的要求。这些挑战引发了一个关键问题：作者如何为VLMs配备强大的推理能力，使其能够在医学领域内进行泛化，同时保持临床可靠性？在本文中，作者指出当前医学VLMs的局限性主要源于监督微调（SFT）[6, 1]的固有缺陷。

虽然SFT已被广泛采用以适应基础模型到医学影像的适应[23, 34, 18, 5, 21]，但它存在两个基本问题，阻碍了其在临床上的应用。首先，SFT本质上倾向于使模型记住特定任务的捷径，而不是学习可推广的推理。通过直接将模型输出与最终答案（例如，诊断标签）对齐，SFT鼓励模型过度拟合训练数据中的表面模式。其次，高质量思维链（CoT）标注的稀缺严重限制了SFT在医学推理中的有效性。与通用领域任务不同，后者可以通过众包获得大规模的CoT数据集，医学推理需要特定领域的逻辑结构（例如，在确认恶性之前系统地排除鉴别诊断）。然而，编制这样的CoT数据集成本高昂，因为它需要经验丰富的医学专业行人进行细致的标注，以确保诊断的有效性和临床一致性。因此，现有的基于SFT的医学VLMs [23, 34] 缺乏高质量CoT数据，导致推理浅薄且缺乏临床基础。这些模型经常产生“黑盒”预测，无法生成可解释的推理或适应域外任务（例如，从放射学到病理学）。这种缺乏透明度和鲁棒性对临床应用构成了重大挑战，在临床应用中，可解释性和可靠性至关重要。

为解决这些挑战，作者提出了Med-R1框架，该框架利用强化学习（RL）[27]来提高医学视觉语言模型（VLM）的泛化能力和可信度。与SFT不同，RL通过奖励信号引导模型探索不同的推理路径，鼓励它们发展内在的逻辑步骤，而不是依赖于标注的CoT理由。这种方法减轻了过拟合和捷径学习，正如Chu等人[9]所展示的，他们表明RL训练的视觉语言模型在跨域泛化方面显著优于SFT。基于强化学习优化的最新进展，作者采用了组相对策略优化（GRPO）[28]，这是一种新颖的策略，消除了传统方法（如近端策略优化PPO）[27]所需的复杂价值模型。GRPO结合了基于医疗指南（例如，肿瘤的诊断标准）的规则奖励和组相对比较，以稳定策略更新。例如，可以设计奖励，以优先考虑与放射学决策树一致的推理步骤，确保临床合理的理由。这种双重机制不仅降低了计算开销，还强制执行遵守特定领域的约束，使GRPO特别适合需要透明度和可扩展性的医学推理任务。

如图1所示，为了严格验证Med-R1的有效性，作者对其进行了涵盖八种临床关键成像模态的全面评估：计算机断层扫描（CT）、磁共振成像（MRI）、超声、皮肤镜检查、眼底摄影、光学相干断层扫描（OCT）、显微镜图像和射线成像。这些模态被选中以代表医学成像挑战的整个范围，从宏观解剖可视化（CT/MRI）到细胞级分析（显微镜）和功能评估（OCT）。在这些领域，Med-R1（2B参数）实现了平均准确率，相较于其基础模型Qwen2-VL-2B，绝对提升了。值得注意的是（见表2），Med-R1甚至超越了Qwen2-VL-72B——一个参数规模大36倍的72B参数模型，这表明在利用RL驱动的推理时，参数效率不必以性能为代价。

除了评估不同成像模态的性能之外，作者还考察了Med-R1在不同医学问题类型上的泛化能力。作者评估了模型在五个关键问题类别中的能力：模态识别、解剖识别、疾病诊断、病变分级和生物属性分析。

Med-R1表现出优异的跨任务泛化能力，在问题类型泛化准确率上优于Qwen2-VL-2B ，甚至在这一点上超过了Qwen2-VL-72B（见表4）。这些发现强调了基于RL的训练在提高医学视觉语言模型（VLMs）的推理深度和任务适应性方面的潜力。

Med-R1是一种可推广的医疗视觉-语言模型（VLM），能够在八个成像模态（图2）上为医疗视觉问答（VQA）生成临床可解释的推理解释。作者总结了以下贡献：

1. \1. 具有多模态显式推理的通用医学VLM：作者提出了MedR1，这是第一个支持八种医学成像模态（CT、MRI、超声等）的视觉-语言模型，能够生成无需特定任务再训练的逐步推理解释。与仅限于单一模态和黑盒答案的先前基于SFT的模型不同，Med-R1通过RL驱动的探索实现了跨域泛化。
2. \2. 通过临床约束的强化学习实现涌现推理：作者采用组相对策略优化（Group Relative Policy Optimization，GRPO），这是一种强化学习策略，消除了对显式推理监督的需求。GRPO整合了基于规则的奖励（例如，强制遵守诊断指南）和组相对比较，使模型能够仅从最终答案标签中学习到临床合理的推理路径。
3. \3. 具有鲁棒性的高效泛化：Med-R1在跨模态准确率方面优于基础模型29.94%，优于SFT Baseline 15.84%。作者还在基础模态上提升了32.06%，在跨任务泛化上比SFT Baseline 高出11.25%。此外，Med-R1在通用领域或医学领域（包括Qwen2-VL-72B和MedVInT-7B）的更大模型中表现优异，展现了其在实际部署中的可扩展性和可靠性。

2 方法

作者采用强化学习（RL）来鼓励医学领域的多模态推理和泛化。近期研究表明，RL能够激励多模态任务中涌现的逻辑推理和泛化，例如数学推理[15]和视觉导航[9]。基于这些见解，作者将RL的应用扩展到医学领域，并系统地评估其在该领域的有效性。具体来说，作者利用流行的基于RL的微调方法GRPO[29]，在8种不同的模态上训练一个大型基础多模态语言模型（MLLM[3]），用于医学推理，并将其与现有流行视觉语言模型（VLMs）的零样本和微调性能进行比较。以下作者将介绍算法细节、作者的奖励设计和数据结构。

2.1 群组相对策略优化（GRPO）

概述。基于强化学习（RL）的算法，如PPO [27] 和 GRPO [28]，属于一种专门设计用于增强模型推理能力的微调和对齐策略的家族。与直接优化最大似然值的监督微调不同，这些基于RL的方法通过使用奖励信号优化策略梯度，通过探索更大的解空间来鼓励推理。GRPO与PPO密切相关，但在两个关键方面有所不同：首先，GRPO使用基于群体的估计来估计优势，而不是使用价值函数；其次，它使用一组固定规则作为奖励信号，而不是使用学习的奖励模型。这些优化使得GRPO比PPO [28] 在资源和计算效率上提高了50%。

定义。形式上，令 表示用于训练的问题集，其中是当前迭代中采样的一个问题。令和分别表示旧策略和当前（新）策略，其中是从策略中采样的完整响应。令表示参考策略，在实践中是冻结的基础MLLM。令 表示每个迭代中每个问题采样的响应数量。GRPO目标如下：

是策略比率， 是估计的优势。KL散度项[17]对策略更新进行正则化，确保不会过度偏离参考模型。与使用评论家模型估计单个响应的优势的PPO不同，GRPO通过采样一组响应并在组内对它们的奖励进行归一化来计算相对优势[28, 13]。每个奖励都是基于规则计算的，而不使用回归模型。作者将在下文详细说明奖励设计。

奖励设计。作者遵循[28]的方法，使用两种类型的奖励：格式和准确性。首先，作者 Prompt 模型在“…”标签中明确输出其思考过程，并在“…”标签中输出最终答案。格式奖励旨在检查上述标签是否存在于最终响应中。如果存在且正确，则给予1分的奖励。这有助于模型以结构化的格式组织和回答，便于阅读。准确性奖励是一种基于规则的奖励，用于检查实际答案是否与真实答案匹配。同样，当结果匹配时，给予1分的奖励。在实践中，对于选择题，真实答案是字母选项“A、B、C、D”，作者将所有以正确字母选项作为首词的响应视为正确（“A…”）。

3 实验 & 结果

在本节中，作者介绍了作者的实验设置、实现细节和结果。作者对结果进行了初步分析，并在??.中进行更深入的讨论。

CT - 计算机断层扫描；MRI - 磁共振成像；US - 超声波。Der - 肤镜检查；FP - 眼底摄影；OCT - 光相干断层扫描；Micro - 显微镜图像；X-Ray - X射线成像

4.1 设置

数据集。作者采用了OmniMedVQA基准测试开放部分中的VQA数据[14]，该数据集包含总共82,059张图像和88,996组视觉问答（VQA）对。OmniMedVQA包括来自八种成像模态的VQA对：CT（15,808）、MRI（31,877）、X射线（7,916）、超声（10,991）、皮肤镜检查（6,679）、眼底（5,398）、OCT（4,646）和显微镜（5,680）。它还被分为五种VQA问题类型，包括解剖识别（16,448）、疾病诊断（55,387）、病变分级（2,098）、模态识别（11,565）和其他生物属性（3,498）。作者按照80-20的比例将数据集分为训练集和测试集。

训练在配备2个H100 GPU（80GB VRAM）的HGX H100 [7] 服务器上进行，使用PyTorch [25] 和FlashAttention-2 [11] 以优化效率。作者从Qwen2-VL-2B-Instruct [2] 初始化，进行完全参数调整，每个GPU的批量大小为1（通过两步梯度累积，有效批量大小为4）并使用bfloat16混合精度。输入序列结合来自分辨率图像（最大401k像素）的视觉嵌入和截断到1,024个token的文本 Prompt 。GRPO策略为每个样本生成四个候选理由，采样温度为。每个训练配置运行一个epoch。

任务设置。作者使用OmniMedVQA数据集[14]在两种不同的泛化设置中评估Med-R1：跨模态泛化和跨任务泛化。

• • 跨模态泛化：作者每次在8种可用模态中选取一种进行模型训练，并在剩余的7种未见模态上评估其性能。
• • 跨任务泛化：作者在数据集中识别出5种不同的任务类型，并采用与跨模态设置中相同的训练-测试划分策略，在一个任务上进行训练，在剩余的四个任务上进行评估。

Baseline 方法与评估指标。作者的评估框架集成了三类 Baseline ：包括BLIP-2 [19]、InstructBLIP [10]和Qwen2-VL系列（2B/7B/72B）[2, 32]在内的通用视觉语言模型；在特定领域语料库上预训练的医疗视觉语言模型（Med-Flamingo [23]、MedVInT [34]、LLaVA-Med [18]）；以及Qwen2-VL-2B的监督微调（SFT）变体。

作者使用VQA选择准确率来评估模型性能，这是医疗VQA的标准指标，其中模型从临床验证的选项中选择答案。给定一个医疗图像，一个问题，以及个候选答案（一个正确答案和个干扰项），准确率计算如下：

准确率

其中， 是测试用例的总数， 是模型的预测答案索引， 是真实答案索引，I 是指示函数，当预测答案与真实答案匹配时返回 1，否则返回 0。

4.2 跨模态泛化

作者全面评估了Med-R1在8种医学成像模态中的适应性，包括计算机断层扫描（CT）、磁共振成像（MRI）、超声、皮肤镜检查、眼底摄影、光学相干断层扫描（OCT）、显微镜图像和X射线成像。作者的实验集中在两个关键方面：（1）跨模态泛化，即模型在一个模态上训练，在另一个模态上测试；（2）与其他流行视觉-语言模型（VLMs）和针对医学领域的VLMs的比较性能，使用零样本和SFT进行评估。

泛化结果。为了评估Med-R1的跨模态泛化能力，作者测量了其在八种不同的医学影像模态上的准确率（表1）。总体行和列总结了模型在训练和测试域的平均性能，提供了对其泛化能力的见解。Med-R1实现了69.91%的强总体准确率，证明了其能够在不同的医学影像模态间进行泛化。值得注意的是，在CT、MRI和X射线图像上训练的模型表现出最高的泛化能力，总体得分分别为71.44%、71.26%和72.35%。相比之下，在眼底摄影（FP）和显微镜（Micro）图像上训练的模型泛化能力较低，总体准确率分别为67.67%和67.54%，这表明某些模态特定的特征（例如，US和Micro中的基于纹理的成像）可能无法有效地转移到其他领域。重要的是，69.91%的总体测试准确率突出了Med-R1在训练时仅在一个领域进行的情况下，仍能在未见过的影像模态上表现良好的能力。这一结果强调了强化学习（RL）在增强跨模态迁移中的有效性，使得模型能够在不要求对每个医学影像模态进行大量重新训练的情况下保持稳健的性能。

与零样本和SFT评估其他VLMs的比较。如表2所示，Med-R1在所有八种医学成像模态上均展现出其优越性，同时保持了卓越的参数效率。对于零样本结果，每个单元格表示模型在特定模态上的零样本评估准确率。对于微调的VLM结果（最后两行），每个单元格代表整体准确率，反映了在分别针对八个训练模态进行微调的模型评估下，给定模态的平均泛化性能。

与通用VLMs相比，作者的2B参数模型实现了69.91%的整体准确率，超过了72B参数的Qwen2-VL，高出1.86%——考虑到参数差异达到36倍，这是一个值得注意的结果。这一优势在关键诊断任务中更为明显：Med-R1在MRI上的准确率达到71.67%，而Qwen2-VL-72B的准确率为69.39%，在皮肤镜检查中达到72.33%对65.31%，挑战了“规模等于性能”的普遍观点。

通过Med-Flamingo的30.38%平均准确率，可以看出专用医学VLMs的局限性，而Med-R1则优于其39.53%。这种鲜明的对比突显了与作者的基于RL的适应策略相比，窄医学预训练的低效性。与监督微调方法相比，GRPO在SFT调整的Qwen2-VL-2B（69.91%对54.07%）上实现了15.84%的准确率提升，特别是在CT解释（66.30%对51.74%）和OCT分析（71.96%对53.99%）方面有显著改进。

4.3 跨任务泛化

作者同样评估了Med-R1在5个重要临床任务上的泛化能力[14]：解剖识别、疾病诊断、病灶分级、模态识别和其他属性。与第4.2小节类似，作者的评估集中在两个方面：跨模态泛化能力以及与其他VLMs的SFT和零样本比较。

泛化结果。如表3所示，在“疾病诊断”数据上训练的模型实现了最佳的泛化效果，整体准确率达到。这表明疾病诊断涵盖了多样化的特征表示，这些特征在不同任务间具有良好的迁移性，这可能是由于其依赖于解剖和病理线索。相比之下，在“模态识别”上训练的模型在任务无关的设置中表现出强大的泛化能力（“模态识别”列中为），表明学习模态区分有助于提取可迁移的图像特征。然而，在“病变分级”上训练的模型虽然在高任务性能（）上表现出色，但相对较低的迁移性表明，该任务捕获了更多专业化的特征，这些特征泛化效果不佳。这些结果突显了专业化和适应性之间的权衡，强调了在为广泛的医疗应用设计模型时任务选择的重要性。

与零样本和SFT评估其他VLMs的比较。表4显示了与其他使用零样本和SFT评估的流行VLMs的比较结果。对于零样本结果，每个单元格表示模型在特定任务上的零样本评估准确率。对于微调的VLM结果（最后两行），每个单元格代表整体准确率，反映了在分别在每个训练任务上单独微调的模型评估下，给定任务的平均泛化性能。首先，结果清楚地表明，Med-R1优于所有其他流行的VLMs的零样本泛化。值得注意的是，Med-R1甚至超过了拥有700亿更多参数的Qwen2-VL-72B（ vs. ），这表明RL可以有效地提升具有适度容量的小型模型，为许多资源受限的实际应用打开了大门。相比之下，使用相同的基础模型通过SFT训练得到的平均泛化率仅为，比Med-R1低，进一步证明了Med-R1强大的泛化能力。

5 结论

在本工作中，作者介绍了Med-R1，这是一种强化学习（RL）增强型视觉语言模型（VLM），旨在提高跨多种成像模态的医学推理能力。通过利用组相对策略优化（GRPO），Med-R1有效地克服了监督微调（SFT）的局限性，显著提升了跨模态和跨任务的泛化能力。在八个医学成像模态和五个临床推理任务上的全面评估表明，Med-R1在性能上始终优于 Baseline 模型，包括零样本通用VLM、专业医学VLM，甚至更大规模的模型。

尽管其参数规模仅为2B，Med-R1在与36倍规模更大的模型竞争中仍表现出优异的性能，这表明可扩展性不必以效率为代价。其轻量级的特性显著降低了计算和部署的门槛，使其在资源受限的实际情况中更具实用性，适用于临床应用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】