相比其他学科，医学+AI，是发表学术成果最多的领域。

医学数据的多样性和复杂性（包括文本、图像、基因组数据等），使得传统的数据分析方法难以全面整合和解析。

而大语言模型，特别是多模态模型，可以综合分析不同类型的数据，建立跨模态关联，提供从文本到影像的深度理解。

这篇文章，娜姐用主题检索的方式，总结了近一年来，医学领域大模型的研究进展。主要分为辅助诊断、药物研发、基因组学、医患沟通等方面。

图1 生物医学领域LLMs的发展概览。从左到右，展示了单模态（绿色部分）和多模态（粉色部分）模型随时间的研究进展【1】。

一、LLM在医学细分领域的研究进展：

1 医学影像辅助诊断：

哈佛大学生物医学信息学助理教授余坤兴2024年9月发表在Nature上的成果【2】，他们团队开发了一款临床组织病理学成像评估基础模型（CHIEF，Clinical Histopathology Imaging Evaluation Foundation）。该CHIEF模型能够对源于肺、乳腺、前列腺、结直肠、胃、食道、肾、脑、肝、甲状腺、胰腺、宫颈、子宫、卵巢、睾丸、皮肤、软组织、肾上腺和膀胱等组织的19 种癌症进行诊断，检测准确率接近 94%。

团队正在与业界合作，希望将 CHIEF 模型发展为临床辅助诊断工具，并在准备 FDA 的相关审批工作。

图2 CHIEF 模型概述（来源：Nature，【2】）

美国商业公司Paige研发的病理学基础模型Virchow，能够实现泛癌症检测，在九种常见癌症和七种罕见癌症中，样本级接收者操作特征曲线下面积达到 0.95。此外，在训练数据较少的情况下，Virchow也能够实现与生产中的组织特异性临床级模型相似的性能，并在某些罕见癌症变种上超越它们【3】。

哈佛大学医学院研究团队近期开发了一个用于人类病理学切片鉴定的视觉语言通用 AI 助手——PathChat。该系统通过自我监督学习对来自 100 万多张切片的图像片段进行预训练，能够从活检切片中正确识别疾病，准确率近 90%，超越GPT-4V。

图3 PathChat 的训练和构建过程。（来源：Nature，【4】）

SkinGPT-4，是一个基于多模态大型语言模型的互动皮肤病诊断系统。基于Llama-2-13b-chat大型语言模型，通过52,929 张病理图像及临床概念进行训练。用户可以上传自己的皮肤照片进行诊断。系统自主评估图像，识别皮肤状况的特征和类别，进行深入分析，并提供互动治疗建议【5】。

图4 SkinGPT-4 是一个基于多模态大型语言模型的互动皮肤病诊断系统。（来源：Nature Communications，【5】）

中山大学附属第一医院针对甲状腺结节影像及病理评估的一项实验表明，725 名患者中的 1161 幅甲状腺结节的影像诊断对比，ChatGPT 4.0 和 Bard 显示出显著到几乎完美的内部一致性，与两名高级影像师和一名初级影像师的人机交互策略相当，并超过了仅有一名初级影像师的人机交互策略【6】。

中国学者开发的肺尘病诊断大模型PneumoLLM，开辟了针对数据稀缺的职业病应用LLMs的新范式，通过广泛的实验展示了大模型在诊断尘肺病方面的优越性【7】。

2 药物开发

浙江大学人工智能医学创新研究院开发了LEDAP模型，利用了基于LLM的生物文本特征编码来预测药物-疾病关联、药物-药物相互作用和药物-副作用关联。LEDAP 在与其他流行的 DBA 分析工具相比时展示了其显著的竞争力【8】。

哈佛医学院研究人员开发的TxGNN 模型，在涵盖 17,080 种疾病的疾病机制和 7,957 种药物的作用机制的医学知识图谱上进行训练，旨在解决现有药物的新应用，为治疗选择有限且分子数据稀缺的疾病识别候选药物【9】。

图5 TxGNN：该几何深度学习模型结合了一个庞大而全面的生物知识图谱，以准确预测任何给定疾病-药物对的适应症或禁忌症的可能性，适用于老药新用途的开发。（来源：Nature Medicine【9】）

中国科学技术大学联合微软研究院，开发了 TamGen–一种采用类似 GPT 的化学语言模型的方法，能够实现靶向感知的分子生成和化合物精炼。将 TamGen 集成到药物发现流程中，并识别出 14 种对结核病 ClpP 蛋白酶表现出显著抑制活性的化合物，其中最有效的化合物的半最大抑制浓度（IC50）为 1.9 μM【10】。

理解化学干扰的转录响应对于药物发现至关重要。中科院计算技术研究所联合合作者，开发了PRnet深度生成模型，能够预测从未在大规模和单细胞水平上进行实验干扰的新化学扰动的转录响应（transcriptional response）。PRnet 使基因水平的响应解释和基于基因特征的计算药物筛选成为可能。PRnet 生成了一个大规模的扰动特征整合图谱，涵盖 88 个细胞系、52 种组织和各种化合物库。并成功推荐了 233 种疾病的药物候选者【11】。

化疗和靶向治疗中，药物耐药性是一个关键挑战。佛罗里达大学团队提出的DrugFormer 模型，整合了序列化基因标记和基于基因的知识图谱，以高精度预测单细胞水平的药物耐药性。来自不同癌症类型的全面单细胞数据分析突显了 DrugFormer 在识别耐药细胞和揭示潜在分子机制方面的有效性【12】。

图6 DrugFormer 模型的整体框架。（图源：Advanced science）

3 基因组学

布朗大学团队开发了多模态深度学习模型 EPBDxDNABERT-2。使用包含 690 个 ChIP-seq 实验结果的染色质免疫沉淀测序（ChIP-Seq）数据进行训练， EPBDxDNABERT-2 显著提高了 660 多个 TF-DNA 的预测，揭示了在全基因组关联研究中发现的与疾病相关的非编码变异的机制【13】。

图7 EPBDxDNABERT-2的构建过程。

受大型语言模型的启发，北京理工大学邵斌等开发了一种用于基因组的长上下文生成模型megaDNA。模型的基础能力，包括预测必需基因、遗传变异效应、调控元件活性以及未注释序列的分类。此外，它能够生成长度达到 96 K 碱基对的 de novo 序列，这些序列包含潜在的调控元件和具有噬菌体相关功能的注释蛋白【14】。该生成基因组模型代表了全功能基因组从零开始设计的第一步。

Memorial Sloan Kettering癌症中心报告了一种基于遗传，而非组织病理学数据训练的人工智能算法的构建，该算法能够准确分类浸润性乳腺癌（ILCs）并揭示 CDH1 失活机制，为开发应用于全切片图像的诊断人工智能模型提供了正交真实数据利用的基础。揭示了与强基因型-表型相关性相关的遗传改变可用于开发应用于病理学的人工智能系统，从而促进癌症诊断和生物学发现【15】。

肽在许多生物活动中发挥着关键作用，是药物设计中有前景的候选者。然而，准确预测蛋白质-肽结合亲和力仍是一项挑战。针对这一问题，北京工业大学团队开发了一种基于卷积神经网络和多头注意力的预测模型 PepPAP，该模型仅依赖于序列特征。PepPAP可用于广泛基因组蛋白-肽结合亲和力预测，并有潜力为基于肽的药物设计提供有价值的见解【16】。

4 其他

对于肌萎缩侧索硬化症（ALS）患者来说，眼动追踪技术使用户能够利用键盘，输入文本以进行语音输出和电子消息传递。但是效率仍远低于语言交流。谷歌及合作者团队利用微调的LLMs和对话上下文，开发了一种名为 SpeakFaster 的文本输入用户界面，将高度缩写的英语文本扩展为所需的完整短语，具有非常高的准确性。与传统基线相比，文本输入速度显著提高（29-60%）并节省了运动动作【17】。

图8 SpeakFaster 用户界面。（来源：Nature Communications 【17】）

医患沟通

2024年7月，中国医学科学院基础医学研究所龙尔平团队与耶鲁大学陈庆宇合作，基于35418例真实导诊对话信息形成的知识库作为训练数据，构建了SSPEC导诊大模型【18】。相比人类导诊，SSPEC在事实性、安全性、共情能力均展现出明显优势，在真实应用场景中，降低了11.2%的重复沟通和5.4%的医患冲突比例。

二、LLM在医疗领域的优势总结

• LLM 在医学中带来了更准确的诊断和预测，促进了早期疾病检测和个性化治疗计划的制定。

• 为医生提供实时决策支持和更新的医学知识，从而优化临床决策过程。

• 个性化治疗方案并促进药物开发，为患者提供更精确的治疗选择和用药选择。

• LLM有潜力增强患者管理和医疗流程，提高医疗效率和患者护理质量。

• LLM可以支持医学教育和医疗知识的传播，促进医学生和从业者的持续学习和改进。

三、挑战：

在生物医学研究中整合LLM带来了机遇，同时也提出了重要的伦理考虑。包括：

潜在的算法偏见；

在人工智能辅助的临床决策中的知情同意；

医疗责任和法律责任问题；

对数据所有权和隐私的担忧。

应对这些挑战需要人工智能研究人员、医疗专业人员、伦理学家和政策制定者之间的合作，以制定稳健的指导方针和监管框架。

总的来说，LLM正成为医学创新的新引擎。ChatGPT等通用模型已展现出卓越的推理和分析洞察能力，随着垂直领域模型的不断深化，未来智能助手将切实融入医生的日常实践，为诊疗质量和效率的提升提供有力支撑。

如果觉得有用，欢迎在看、转发和点赞！娜姐继续输出有用的AI辅助科研写作、绘图相关技巧和知识。

一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】